Search result

[IoT] Mqtt broker - Kafka - ELK 스택 셋팅

구조도구성품IoT devices: 라즈베리파이 등 MQTT ClientMQTT Broker: EMQ (https://www.emqx.io)Kafka producer: Kafka Junction (https://github.com/brycemcd/MQTT-to-Kafka)Kafka consumer: Logstash + kafka inp...

IoT Elasticsearch emq Kafka Kibana

ElasticSearch 에서 wildcard 쿼리 대신 ngram을 활용하는 방법

ElasticSearch를 사용하면서 DSL 을 구성할 때, RDBMS 의 like "%keyword%" 와 같은 쿼리를 대체하기 위해서 wildcard 를 사용하는 경우를 몇번 목격하였다. 이 경우 원하는 결과를 제대로 얻을 수도 없을 뿐더러,...

Elasticsearch wildcard ngram Partial Matching match_phrase

ElasticSearch 에서 reindex 을 활용하는 방법

그럴 것 같지 않지만, ElasticSearch 에서는 reindex를 수행할 일이 많이 발생한다. reindex를 실행할때 사용할 수 있는 옵션을 확인해 보았다.

Elasticsearch reindex

ElasticSearch 에서 template 을 활용하는 방법

ElasticSearch를 로그 분석용으로 사용할 때 인덱스의 mapping은 template을 사용해서 생성되도록 설정하면 편리하다.

Elasticsearch template mapping

ElasticSearch 에서 Index Alias 변경하기

6월 3일 (일) TIL ElasticSearch 에서 index 의 alias 를 변경하는 방법을 알아보았다.

Elasticsearch index alias

[ Elasticsearch ] keyword 와 text (string 타입)

Elasticsearch 에는 여러 데이터 타입이 있지만, 그 중 String 타입은 5.0 부터 text 와 keyword 로 분리되었습니다.- text: 설명 혹은 길이가 긴 텍스트가 있는 필드에서 전문 검색(full-text) 가 필요한 경우이며,...

Elastic Stack DevOps Elasticsearch ELK

logstash와 filebeat 설정하기

Elasticsearch의 버전업을 지원하기 위해서 logstash 와 filebeat를 새롭게 설치하고 설정해보았다. 진행한 작업 내용을 정리 해보았다.

Elasticsearch logstash filebeat install

ElasticSearch 한국어 형태소 분석기 설정

ElasticSearch 버젼이 5.x 이상이면 open korean text 를 추천하고 이하이면 은전한닢 또는 arirang 추천. ElasticSearch 5.x 대의 arirang 은 ElasticSearch 재시작 1회 후 형태소 분석이 1자만 되는 이슈 발생함....

Elasticsearch 한국어 형태소 형태소

ElasticSearch Index settings 변경

Index 설정을 변경하려면 close -> 설정 -> open 하면 됩니다. POST /my_index/_close PUT /my_index/_settings { "analysis": { "filter": { "my_stop": { "type": "stop", "stopwor...

Elasticsearch setting 설정

Elasticsearch Index 중단 없이 매핑 변경 재인덱싱

인덱스의 Type의 매핑을 변경하려면 새 인덱스를 만들어서 재인덱싱을 해 주는 수 밖에 없으며 방법은 아래와 같습니다. 기존 인덱스명 보존은 별칭(alias)으로 설정하여 해결합니다. 현재 인덱스 news-2018 새 인...

Elasticsearch reindex 매핑 재인덱싱