티스토리

듐듐다다
검색하기

블로그 홈

듐듐다다

mondayus.tistory.com/m

끄적끄적 개발 노트

구독자
0
방명록 방문하기
반응형

주요 글 목록

  • Elasticsearch GC 변경 계획 (CMS-> G1GC) CMS와 G1GC :Java Garbage Collection G1GC 상세 :Java HotSpot VM G1GC 참고 :G1 GC 적용과 JVM Upgrade 작업 방향 자바 버전 업그레이드 : Elasticsearch 버전 별 지원 JDK 정보 Elastic Support Matrix | Elasticsearch Elasticsaerch6.5.4 버전은 1.8을 제외하면 JDK11 버전을 지원한다. jvm.options 변경 : 다음 CMS GC를 주석처리 한다. G1GC 활성화 : G1GC 설정 : 일반적인 권장 사항 : 가급적이면 기본 설정으로 사용할 것. 옵션 및 기본값 -XX:MaxGCPauseMillis=200 최대 일시 정지 시간 목표. 기본값은 200ms. -XX:GCPauseTimeI.. 공감수 0 댓글수 0 2021. 8. 26.
  • 부트스트랩 체크 #부트스트랩 체크 ES 5.0 부터 인스턴스가 시작할 때 부트스트랩 체크라는 장치가 도입되었다. 의도하지 않은 설정 미스를 미리 검출하는 목적을 가지고 있다. 예를들어 -Xms 와 -Xmx 의 값이 다르면 ES 가동이 실패한다. 1. Heap size check 엘라스틱서치는 기본적으로 큰 메모리를 사용하기 때문에 처음부터 기본 힙크기와 최대 힙크기 값을 같게 설정하는 것이 좋다. 시스템을 운영하는 중에 힙 크기 조정이 일어날 경우 시스템이 일시 정지할 위험성이 있기 때문이다. jvm.options 에 설정된 기본힙과 최대힙 : 최근 일주일 힙 사용량 : 2. File descriptor check (File Descriptors ) #파일 디스크립터 리눅스/유닉스 환경에서는 모든 작업이 파일로 처리된다.. 공감수 0 댓글수 0 2021. 8. 26.
  • kibana 접속 안될때 (read-only 전환된 상태) 주요 에러 : FORBIDDEN/12/index read-only "reason":"ClusterBlockException[blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];]","caused_by":{"type":"cluster_block_exception","reason":"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"}}]}}}}"} Unhandled rejection [export_exception] Exception when closing export bulk :: {"path":"/_xpack/monitoring/_bulk","query":{"system_id.. 공감수 0 댓글수 0 2021. 8. 26.
  • Search Query Test ( Elasticsearch v6.5.4) 테스트 indices 생성 field 분석기 적용 title_std_std 색인 시점 : standard 검색 시점 : standard title_kor_std 색인 시점 : korean 검색 시점 : standard title_std_kor 색인 시점 : standard 검색 시점 : korean title_kor_kor 색인 시점 : korean 검색 시점 : korean title_ngram_std 색인 시점 : ngram 검색 시점 : standard PUT search_query_test/ { "mappings" : { "_doc" : { "dynamic": "strict", "properties" : { "title_std_std" : { "type" : "text", "analyzer": ".. 공감수 0 댓글수 0 2021. 8. 26.
  • 동의어 등록 테스트 ( nori / Elasticsearch v6.5.4) 동의어 사전이 적용되는 시점 Tokenizer를 통해 형태소 분석이 끝난 후에 Token Filters에 정의한 순서 대로 사전이 적용된다. 동의어 등록 ELS_HOME/config/synonyms.txt 동의어는 하나의 규칙당 한 줄식 입력해야 하며 파일은 UTF8로 인코딩 되어야한다. 에어프라이어,에어플라이어,애어프라이어,애어플라이어 에이아이,인공지능 대한민국,우리나라,한국 한국,코리아,korea 아름다움,멋=>뿜뿜 동의어 등록 후에는 _setting 정보를 update하기 위해 indices를 닫았다가 열어야한다. POST synonyms_dic_test/_close POST synonyms_dic_test/_open 이미 색인된 데이터에 사전을 반영하기 위해서는 재색인을 해야한다 동의어 적용 테스.. 공감수 0 댓글수 0 2021. 8. 26.
  • 동의어 사전 다중 등록 테스트 (Elasticsearch v6.5.4) 목적 nori analyzer의 동의어 등록 방식은 “a,b,c”와 “a=>b” 두가지가 있다. 위 동의어 키워드는 synonyms.txt 파일에 작성하여 indices 생성에 사용한다. 사전 관리시스템을 만들면서, 우리는 “a,b,c” 방식을 동의어, “a=>b” 방식을 유사어 사전이라고 분리했다. 분리한, 동의어와 유사어 사전이 각각 배포 및 적용이 가능한지 테스트한다. indices 생성시 filter 에 동의어,유사어 필터를 각각 생성 할 수 있는지 확인한다. synonym.txt, similar.txt 사전을 생성 후 각각의 사전이 적용 되는지 확인한다. 테스트 indices생성 filter에 synonym 타입의 동의어와 유사어 필터를 각각 생성한다. PUT dic_synonym_test/ {.. 공감수 0 댓글수 0 2021. 8. 26.
  • 운영 중인 엘라스틱서치 순차적 재시작 ( Rolling-Restart ) 소개 ES 입장에서는 클러스터에 속한 노드중 한대가 중지되면 그 노드에 속한 프라이머리 샤드나 레플리카 샤드를 다른 노드로 옮기려는 샤드 할당(Shard Allocation) 작업을 수행한다. 이는 클러스터의 특정 노드가 장애상황일 때 이부분에 대한 Fail Over가 동작하는 과정이다. 그러나 순차적 재시작 case에서는 이 과정이 오히려 오버헤드(overhead)로 동작하기 때문에 재시작 전 클러스터의 샤드 할당 기능을 꺼두어 샤드 할당이 다시 일어나는 것을 미연에 방지한다. (출처 : https://bit.ly/31ADg0V) Rolling-Restart 사용 이유 검색 중단 없이 하드웨어 교체, 서버/ Elasticsearch 업그레이드 작업을 위해 사용 indices의 _close, _open .. 공감수 1 댓글수 0 2021. 8. 26.
  • elasticsearch-plugin 생성하기 목적 자동완성 기능을 위해 사용할 자동완성 플러그인 이 정상적으로 install되지 않는 원인 분석을 위함 플러그인 생성 방법 및 테스트 내용을 기록하기 위함 테스트 기능 없는 플러그인으로 정상 설치 여부를 확인한다. javacafe-analyzer 소스를 이용하여 플러그인을 만들고 정상 설치 여부를 확인한다. 1. 기능 없는 플러그인 테스트 1-1. 프로젝트 생성 plugin 생성 참고url : http://www.technocratsid.com/how-to-create-an-elasticsearch-6-4-1-plugin/ How to create an Elasticsearch 6.4.1 Plugin A plugin provides a way to extend or enhance the basic f.. 공감수 0 댓글수 0 2021. 1. 13.
  • 쿼리 분리 상황 : deal Collection 을 위해 만들어진 색인 쿼리가 점점 무거워지고 있다. 현재 2000만건 색인 중이지만 추후에, 고객사의 데이터의 비중이 1000만건 가량 더 커질 예정이다. 문제 : 특정 상점만 분리해서 색인을 진행하고 싶다. 그러나 collection은 동일하게 deal 이어야 한다. 대상 서버 정보 수정 설정 파일 (solr.config) : (asis) solrconfig.xml data-config.xml (tobe) solrconfig.xml data-config1.xml data-config2.xml 작업 순서 솔라는 중지되어있고 주키퍼가 실행되어있는 상태에서 작업 시작 위 설정 배포 (젠킨스) 솔라 기동 컬렉션 생성 - 다음 명령어를 이용해야한다. solr1:8988/s.. 공감수 0 댓글수 0 2020. 3. 16.
  • multiple dataSource for one Collection 상황 : deal_list Collection 을 위해 만들어진 색인 쿼리가 점점 무거워지고 있다. 현재 2000만건 색인 중이지만 추후에, 특정 상점의 데이터의 비중이 몹시 커질 예정이다. 문제 : 특정 상점만 분리해서 색인을 진행하고 싶다. 그러나 collection은 동일하게 deal_list 여야 한다. 방법 1 (asis) solrconfig.xml data-config.xml (tobe) solrconfig.xml data-config1.xml data-config2.xml 결과 : 성공 . dataimport 창이 생성됨 처음에는 fail 떴었는데 { "responseHeader": { "status": 0, "QTime": 1 }, "initArgs": [ "defaults", [ "con.. 공감수 0 댓글수 0 2019. 12. 11.
    반응형
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.