본문 바로가기

전체 글10

DNS란 무엇인가? DNS란 무엇인가?DNS(Domain Name System)는 도메인을 IP로 변환해주는 시스템이다.이 DNS를 운영하는 서버가 도메인 서버다.여기서 도메인은 ip주소(ex. 123.123.123.123)를 사용자가 기억하기 쉽게 만든 명칭이다.ex. 123.123.123.123 -> helloworld.com도메인의 구조는 메인, 서브, 최상위 도메인으로 구성되어 있다.메인 도메인메인 도메인은 웹사이트의 기본 주소를 나타내는 도메인이다.http://www.naver.com 에서 naver가 메인 도메인을 의미한다.서브 도메인서브 도메인은 메인 도메인 앞에 추가되는 도메인으로 웹사이트의 특정 기능이나 콘텐츠를 구분하기 위한 도메인이다.blog.naver.com에서 blog, shop.naver.com 에.. 2025. 5. 5.
ssh(secure shell) & pssh(parallel ssh) SSH(Secure shell)하둡은 데이터를 분산 병렬 시스템으로 처리하기 때문에 여러 대의 컴퓨터에서 실행이 된다.그러므로 하둡의 마스터노드는 각각의 데이터 노드와 통신을 해야 한다.이 통신을 위해 SSH(Secure shell)을 이용한다.Secure ssh은 네트워크 상의 다른 컴퓨터에 로그인하거나 원격 시스템에서 명령을 수행 후, 다른 시스템으로 파일을 복사할 수 있도록 해주는 응용 프로그램을 말한다.즉, 서로 통신할 때 안전하게 통신하기 위해 사용하는 보안 프로토콜이다.Hadoop 환경을 셋팅할 때, Name node에서 SSH의 공개키를 생성하고 이 공개키를 다른 데이터 노드 서버에 복사해서 사용한다.위와 같은 설정을 통해 SSH를 사용하여 Hadoop 클러스터의 각 노드 간에 인증 및 암호.. 2025. 5. 1.
텍스트 하이라이트 기능을 통해 XAI 맛보기 XAI 란? Explainable AI의 줄임말로 단어 그대로 인공지능의 블랙박스를 설명가능한 인공지능을 의미한다. DARPA(방위 고등 연구 계획국)의 인공지능 관련 프로젝트로 연구가 활발하게 이루어지면서 XAI 연구가 발전되어왔다. 예를 들어 XAI가 타깃 미사일 요격 연구에 쓰이는 사례를 보면 타깃을 조준하는 미사일이 타깃을 조준하는 데 있어서 근거가 정립되지 않으면 인공지능만을 믿고 요격하다가 오판이 생기는 경우 대참사가 일어날 수 있다. 이러한 사례를 보면 왜 국방관련 연구기관에서 XAI가 부상하게 되었는지 알 수 있다. XAI를 활용하는 과정은 아래와 같이 이루어진다. 머신러닝 모델 생성 설명 가능한 모델 결합 모델 결과 해석 인터페이스 연결 모델 문제점 발견 및 개선 모델 테스트 평가 파이프.. 2023. 10. 20.
도서 추천시스템 - Surprise 활용 잠재요인 협업 필터링 Surprise 추천시스템 패키지 소개 Surprise는 파이썬 기반의 추천 시스템 구축을 위한 전용 패키지 중 하나이다. Surprise패키지는 파이썬 기반에서 사이킷런과 유사한 API와 프레임워크를 제공하기 때문에 추천시스템에 대한 기본적인 이해와 사이킷런 사용경험이 있다면 쉽게 사용할 수 있는 패키지다. Surprise 패키지는 아래와 같이 설치한다 pip install scikit-surprise conda install -c conda-forge scikit-surprise Surprise package surprise는 user_id(사용자 아이디), item_id(아이템 아이디), rating(평점) 데이터가 로우 레벨로 된 데이터셋만 적용한다. 판다스 데이터프레임으로 로딩할 경우 반드시 데.. 2023. 10. 15.
Splunk Architecture 구성 Splunk Architecture 는 시스템 규모 및 목적, 상황에 따라서 아키텍처를 구성할 수 있다. Basic ArchitectureBasic 아키텍처는 standalone 방식에서 스플렁크 설치파일을 각각의 기능에 맞게 셋팅한 기본 아키텍처이다. 아키텍처 구성은 데이터를 전달하는 포워더, 전달받은 데이터를 저장하는 Indexer, 검색기능인 서치헤드, 포워더를 관리하는 Deployment server로 구성된다.각각 데이터를 송수신을 위한 포트 설정 후, 사용할 앱을 배포하는 방식으로 이루어진다. Indexer Clustering인덱서 클러스터링은 여러 인덱서를 구성하여 데이터를 복제하여 복사본을 유지하고, 이를 그룹화하여 관리하는 구성 방식이다. 이를 통해 검색 효율성을 높이고, 장애로 인한.. 2023. 10. 11.
도서 추천시스템 - 아이템 기반 협업 필터링 추천시스템 개요 추천시스템은 유튜브부터 이커머스 등의 플랫폼까지 우리가 접하는 다양한 콘텐츠, 생활 각각 요소에서 보편적으로 활용되고 있다. 하지만 현재 기업이 추천시스템의 활용하는 목적은 고객을 서비스에 계속 활동할 수 있도록 하는 것이 목적이고 이는 곧 수익창출을 의미한다. 그러므로 현재 추천시스템은 고객에게 다양한 질 좋은 정보를 제공하기보다는 고객이 서비스를 이용하는 데 시간을 소모하도록 하는 것이 목적이기 때문에 사용자 입장에선 자신의 관심사 또는 한 쪽의 편향된 정보만을 주입받아 편향된 생각과 정보에만 노출되는 우려가 있다. 이를 에코챔버(Echo Chamber) 효과라고 한다. 추천시스템의 이로움, 해로움을 떠나 우리는 추천시스템의 많은 영향을 받는 것은 사실이다. 해당 추천시스템에 대해서 .. 2023. 10. 7.
클라우드 컴퓨팅: SaaS IaaS PaaS 클라우드 컴퓨팅은 인터넷으로 가상화된 IT 리소스를 서비스로 제공하는 것을 뜻한다. 클라우드 컴퓨팅에서 가상화하여 서비스로 제공하는 대상은 서버, 플랫폼, 소프트웨어 더 나아가 블록체인까지 포함할 수 있다.SaaS, PaaS, IaaS는 모두 클라우드 컴퓨팅을 기반으로 서비스를 제공한다. SaaS, PaaS, IaaS의 서비스 제공 범위는 아래와 같다. SaaS(Software as a Service)SaaS(Software as a Service)는 클라우드 기반 소프트웨어 애플리케이션이다.소프트웨어가 제 3자 서버에서 호스팅되므로 사용자 입장에서 자체적인 서버를 구성하여 소프트웨어를 설치하는 수고를 할 필요없이 인터넷을 통해 서비스에 접근할 수 있다.*호스팅: 서버 컴퓨터의 전체 또는 일정 공간을 이.. 2023. 10. 3.
Splunk 개요 및 설치 Splunk introSplunk는 Raw 데이터를 수집, 분석(검색, 시나리오), 가시화(시각화)까지 진행할 수 있는 빅데이터 분석 플랫폼이다.Splunk가 표방하는 Data-to-Everything 플랫폼은 데이터를 모든 곳에 적용하는 방향을 추진하는 올인원 빅데이터 플랫폼이라는 의미로 이해할 수 있다.여기서 머신데이터는 애플리케이션데이터, IT인프라데이터, 보안데이터, 고객생성 데이터, IoT데이터 등을 말한다.위의 머신데이터 종류를 보면 알수 있듯이 기본적으로 비정형데이터에 강점을 가진 솔루션이다.이와 유사한 방식의 솔루션은 ELK(Elasticsearch, Logstash, Kibana)가 있다. ELK는 오픈소스(무료)이고, Splunk는 솔루션(유료)이다. 주요제품 종류는 아래와 같다. 플랫.. 2023. 9. 30.
태블로 Hyper API를 통해 .hyper 파일 CUID(Create, Update, Insert, Delete) 진행 What is Hyper APITableau Hyper API에는 Tableau 추출 데이터파일 핸들링 및 자동화하는 데 사용할 수 있는 기능들이 포함되어 있다. Hyper API 를 사용하여 새 추출 파일을 생성하거나 기존 파일을 연 다음 해당 파일에서 테이블 생성(Create), 데이터 삽입(Insert), 삭제(Delete), 갱신(Update)하는 것이 주 기능이다. Tableau Hyper API를 활용하기 위해 여타 블로그를 구글링했지만, 한국어로 된 포스트를 찾지 못해서 이번 기회에 Hyper API에 대한 가이드글을 쓰게 되었다. 사용자는 Hyper API를 사용하여 아래의 기능을 수행할 수 있다.태블로에서 지원하지 않는 데이터 원본에 대한 추출 파일 생성사용자 지정 ETL(추출, 변환, .. 2023. 9. 26.
2023.09.13 splunk .conf seoul 2023.09.13 splunk .conf seoul 주요키워드: 디지털 회복탄력성, 머신러닝(MLTK), ONNX 디지털 회복탄력성은 비즈니스 프로세스 및 서비스를 방해할 가능성이 있는 이벤트를 방지, 탐지, 복구 및 대응하는 능력을 의미함. 머신러닝(MLTK): Splunk에서 사이킷런 기반 머신러닝 활용을 위한 앱 ONNX(Open Neural Network Exchange): 다른 DNN 프레임워크 환경(ex Tensorflow, PyTorch 등)에서 만들어진 모델들을 서로 호환되게 사용할 수 있도록 만든 플랫폼 2023. 9. 24.

티스토리툴바