Elasticsearch 썸네일형 리스트형 Logstash dumping gzipped json file Json 형식으로 된 로그 파일이 엄청나게 많은데 이걸 엘라스틱서치에 올려야할 일이 생겼다.게다가 해당 파일들은 gz 형식으로 압축이 되있어서 바로 Logstash 통해서 올리려니까 안된다. 여기저기 삽질을 해본 결과 몇가지 수정을 해야 한다는 것을 알았다. 우선 Logstash 실행 방법은 아래와 같다 bin/logstash -f conf_file_path --log.level=info -f conf_file_path 는 Logstash 설정 파일 이름이다. 여기에 각종 설정 값을 입력해야 한다.--log.level=info 화면에 로깅 레벨을 결정한다. 때에 따라서 debug 또는 trace를 사용해주자 아무튼 이제 Logstash config 파일을 설정해야 한다.이거는 그냥 내가 따로 작성해서 사.. 더보기 엘라스틱 서치 활용 Elasticsearch 프로젝트에 사용할 일이 있는데 자꾸 까먹어서 필요한대로 업데이트 할 예정 1. 새 인덱스 생성하기curl -XPUT http://elasticsearchAddress/indexName -d '{ "settings" : { "index" : { "number_of_shards" : 5, "number_of_replicas" : 0 } }}' 2. 생성된 인덱스에 맵핑 설정하기 - 이외에 더 많은 세팅을 할 수 있지만 기본적으로 Time을 데이터가 생성되는 시간을 입력받도록 설정하였다. Elasticsearch의 큰 장점중 하나가 Json을 던지면 알아서 맵핑을 설정해준다는 것이지만 기본적으로 시간 정보는 미리 설정해놔야 추후에 스트링과 타임스탬프를 헷갈려하는 일이 없는거 같다. c.. 더보기 이전 1 다음