개발 공부 & 정리

ElasticSearch 기본 용어 정리 Elasticsearch는 확장성이 뛰어난 오픈소스 풀텍스트 검색 및 분석 엔진입니다. 방대한 양의 데이터를 신속하게, 거의 실시간으로 저장, 검색, 분석할 수 있도록 지원합니다. 일반적으로 복잡한 검색 기능 및 요구 사항이 있는 애플리케이션을 위한 기본 엔진/기술로 사용됩니다 Document Elasticsearch 에 저장하는 기본 정보이다. 통상적 데이터베이스에서의 row라고 생각하면 된다. document는 json객체로 저장되고 반드시 타입에 속해있어야 한다. 문서를 인덱스화 하는 기본 정보단위이다. Type Document의 공통적 field이다. 통상적 데이터베이스의 테이블로 생각하면 된다. 인덱스들을 논리적으로 분류하고 구분한것. 하지만 다소 Nod..

ETL & DATA 관련 개념 용어 정리 ETL- Extract, Transform, Load - 다양한 소스 시스템으로부터 필요한 데이터를 추출하여 변환 작업을 거쳐 타겟 시스템으로 전송 및 로딩하는 모든 과정 DW- Data Warehouse ERD-DB (직렬성, 동시성 , 무결성) RESTful ( REpresentational State Transfer )- '상태 대신 전송자' -> 웹의 장점을 최대한 활용할 수 있는 아키텍쳐 - GET, POST, PUT, DELETE- http 연결 상태 코드 등을 지원 SPARKHIVE- Hadoop 용 데이터 웨어하우스 시스템 , 데이터의 요약 쿼리 및 분석을 수향 가능 , sql 과 유사한 HiveQL 로 작성HBase- Apache HBase 는 하..