1. 공공데이터 API 준비 일단 먼저 원하는 공공데이터 API를 공공데이터 포털에서 확인할 수 있다. 여기서 자신이 원하는 다양한 공공데이터를 찾을 수 있고, csv 형태의 파일 데이터나 API 형식으로 제공받을 수 있는데 이 포스트에서는 실제 프로젝트 진행 중에 사용했던 공공데이터 API를 기준으로 설명할 것이다. 국토교통부_공동주택 에너지 사용 정보 API로 API를 호출하면 xml 형태의 데이터를 반환해준다. 2. 데이터 전처리 Filebeat가 파일을 읽어서 logstash로 보낼 때, 보통 csv 파일을 읽도록 하는 것이 편하기 때문에 Spring 환경에서 API를 호출하면서 xml 형태의 호출 결과를 csv 파일 형식으로 저장하도록 설정했다. (Xml filter plugin을 사용해서 Lo..
1. Homebrew 설치 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)" Homebrew 설치가 되어있지 않으면 터미널에서 위 명령어를 입력하여 설치할 수 있다. 2. elastic tap 저장소 추가 brew tap elastic/tap 터미널에서 위 명령어를 통해 elastic 패키지 저장소를 추가할 수 있다. 3. Elasticsearch 설치 및 실행 brew install elastic/tap/elasticsearch-full 위 명령어로 Elasticsearch를 설치할 수 있고 elasticsearch 설치 완료 후에는 elasticsearch 명령어를 통해 Ela..
Elastic 공식 페이지 문서를 참고하여 작성하였습니다. Elastic Stack ?? 모든 유형의 데이터를 실시간으로 검색, 분석 및 시각화할 수 있는 Elastic의 오픈소스 프로젝트들을 하나로 묶어서 Elastic Stack이라고 한다. 원래는 검색 및 분석 엔진인 Elasticsearch, 수집 파이프라인인 Logstash, 시각화 도구인 Kibana의 앞글자만 따서 ELK Stack이라고 불렀으나 파일 추적을 위한 Beats를 추가하면서 Elastic Stack으로 이름이 바뀌었다. https://www.elastic.co/kr/what-is/elk-stack Elastic Stack 구조 SQL Elastic 설명 column field row document table index schem..
