구조도구성품IoT devices: 라즈베리파이 등 MQTT ClientMQTT Broker: EMQ (https://www.emqx.io)Kafka producer: Kafka Junction (https://github.com/brycemcd/MQTT-to-Kafka)Kafka consumer: Logstash + kafka inp...
IoT Elasticsearch emq Kafka Kibana
VoidNoble IT Zone on 19-02-13
ElasticSearch를 사용하면서 DSL 을 구성할 때, RDBMS 의 like "%keyword%" 와 같은 쿼리를 대체하기 위해서 wildcard 를 사용하는 경우를 몇번 목격하였다. 이 경우 원하는 결과를 제대로 얻을 수도 없을 뿐더러,...
Elasticsearch wildcard ngram Partial Matching match_phrase
Soo Story on 18-07-14
그럴 것 같지 않지만, ElasticSearch 에서는 reindex를 수행할 일이 많이 발생한다. reindex를 실행할때 사용할 수 있는 옵션을 확인해 보았다.
Elasticsearch reindex
Soo Story on 18-07-07
ElasticSearch를 로그 분석용으로 사용할 때 인덱스의 mapping은 template을 사용해서 생성되도록 설정하면 편리하다.
Elasticsearch template mapping
Soo Story on 18-06-29
6월 3일 (일) TIL ElasticSearch 에서 index 의 alias 를 변경하는 방법을 알아보았다.
Elasticsearch index alias
Soo Story on 18-06-03
Elasticsearch 에는 여러 데이터 타입이 있지만, 그 중 String 타입은 5.0 부터 text 와 keyword 로 분리되었습니다.- text: 설명 혹은 길이가 긴 텍스트가 있는 필드에서 전문 검색(full-text) 가 필요한 경우이며,...
Elastic Stack DevOps Elasticsearch ELK
프로그래밍 요람에서 무덤까지 on 18-06-02
Elasticsearch의 버전업을 지원하기 위해서 logstash 와 filebeat를 새롭게 설치하고 설정해보았다. 진행한 작업 내용을 정리 해보았다.
Elasticsearch logstash filebeat install
Soo Story on 18-05-28
ElasticSearch 버젼이 5.x 이상이면 open korean text 를 추천하고 이하이면 은전한닢 또는 arirang 추천. ElasticSearch 5.x 대의 arirang 은 ElasticSearch 재시작 1회 후 형태소 분석이 1자만 되는 이슈 발생함....
Elasticsearch 한국어 형태소 형태소
VoidNoble IT Zone on 18-05-21
Index 설정을 변경하려면 close -> 설정 -> open 하면 됩니다. POST /my_index/_close PUT /my_index/_settings { "analysis": { "filter": { "my_stop": { "type": "stop", "stopwor...
Elasticsearch setting 설정
인덱스의 Type의 매핑을 변경하려면 새 인덱스를 만들어서 재인덱싱을 해 주는 수 밖에 없으며 방법은 아래와 같습니다. 기존 인덱스명 보존은 별칭(alias)으로 설정하여 해결합니다. 현재 인덱스 news-2018 새 인...
Elasticsearch reindex 매핑 재인덱싱