Splunk 개요 및 설치

 

Splunk intro

Splunk를 한 마디로 머신데이터를 수집, 적재, 분석, 시각화까지 진행할 수 있는 실시간 분산 솔루션이다.

Splunk가 표방하는 Data-to-Everything 플랫폼은 데이터를 모든 곳에 적용하는 방향을 추진하는 올인원 빅데이터 플랫폼이라는 의미로 이해할 수 있다.

여기서 머신데이터는 애플리케이션데이터, IT인프라데이터, 보안데이터, 고객생성 데이터, IoT데이터 등을 말한다.

위의 머신데이터 종류를 보면 알수 있듯이 기본적으로 비정형데이터에 강점을 가진 솔루션이다.

이와 유사한 방식의 솔루션은 ELK(Elasticsearch, Logstash, Kibana)가 있다. ELK는 오픈소스(무료)이고, Splunk는 솔루션(유료)이다.

 

주요제품 종류는 아래와 같다.

 

플랫폼

• Splunk Enterprise
• Splunk Cloud

보안

• Splunk Enterprise Security 외 4종

Observability(모니터링)

• Splunk Application Performance Monitoring 외 5종

 

Splunk Component

https://blog.scottlogic.com/2022/07/15/putting-your-machine-data-to-use-with-splunk.html

 

Splunk 구성요소는 Search head, indexer, forwarder 이렇게 세 가지가 있다.

 

Forwarder(수집기능): 로그데이터를 수집하여 Indexer에 저장하는 역할.

택배 hub같은 개념으로 보면 된다.

판매자가 제품 발송 → 물류센터허브에서 도착지역에 맞게 분류하여 인덱서(저장기능)에 전달하는 방식

즉, 포워더는 데이터를 수집 및 전달하는 역할이다.

 

Indexer(저장기능): 데이터를 저장 및 프로세싱 기능 제공

인덱서는 포워더로부터 받은 데이터를 저장, 서치에더의 검색요청에 대한 데이터를 반환하는 역할

인덱서가 여러 개일 경우, 서칭에 요구되는 데이터를 빠르게 응답할 수 있다.

 

Search Head(검색기능): Indexer에 저장된 Index를 SPL(Splunk Processing Language)를 통해 검색

사용자 목적에 맞게 SPL을 통한 함수, 연산 등을 수행하여 원하는 결과를 사용할 수 있다.

 

Splunk는 앞서 설명한 Search Head에서 자체 검색언어인 SPL(Splunk Processing Language)를 사용한다.

SPL는 |(파이프라인)을 통해 명령어를 연결시켜 출력을 수행하는 방식이다.

리눅스에서 명령어를 연결할 때 사용되는 파이프라인 형식과 동일하다.

 

Splunk install

splunk를 로컬에서 설치(맥os에서 쉘로 설치)해보자

무료평가판은 60일이다.

 

아래 링크에서 tgz 다운받는다.

https://www.splunk.com/en_us/download/splunk-enterprise/thank-you-enterprise.html

 

압축해제

tar xvzf splunk_package_name.tgz

 

splunk설치파일있는 폴더 → bin으로 이동 → start

cd splunk설치파일있는 폴더/bin
./splunk start

 

Please enter an administrator username: 유저네임 생성

Please enter a new password: 비번생성

 

8000포트가 웹서버 포트이므로 해당 웹으로 Splunk ui에 접속하면 된다.

 

위의 web server로 접속 후 이전에 생성한 유저네임, 비번 입력하면 아래와 같이 Splunk ui가 나타난다.

 

빅데이터 엔지니어로 커리어를 시작하면서 앞으로 배우는 Splunk의 세부적인 기능과 구조에 대해선 계속 포스트를 이어나갈 예정이다.

 

Reference

Splunk소개_2019 자료

Installation Manual - SPLUNK DOC