지나공 : 지식을 나누는 공간

지금 opensearch 를 운영 중인데 쿼리나 운영이 서툴러서 쿼리를 좀 기록하려 했다가... 클러스터 내용을 빠뜨리고 바로 쿼리에 대해 쓰기가 좀 아쉬워서 결국 chapter 1 같은 내용부터 쓴다. 전에 한참 elasticsearch를 전혀 모르고 책의 딱 챕터1만 읽었던 시절, 루씬과 엘라스틱서치가 여기저기 나와서 이게 뭔가 싶었다. 근데 시니어 분이 '그냥 Lucene을 감쌌을 뿐이다.' 라고 하셨는데, 그 말이 무슨 말인지 알겠다..ㅎ ElasticSearch 와 OpensearchElastic 에서 Apache Lucene 을 기반으로 만든 검색 엔진으로, 여러 서버에 분산해서 데이터를 저장하고 노드 추가를 통한 수평 확장이 가능하다. 7.11 버전부터는 오픈소스가 아니고 상용 라이선스로 ..

들어가는 말최근에 컨텍스트 스위칭이 비용이 드는 건 아는데, 왜 비용이 드는건지를 설명해보라는 질문에 간단명료하게 답하지 못했다. 학부 때나 취준하면서 CS를 보기는 했지만 OS, 네트워크 보다도 나도 모르게 프로젝트 과정에 대한 질문에 치우쳐서 학습했던 것 같다. 이를 반성하며... 오래된 OS 책을 다시 꺼냈다. 지금 보니 느낌이 좀 다른데 아무튼 컨텍스트 스위칭에 필요한 배경지식부터 간단하게 리마인드 해본다. 프로세스의 구조프로세스는 실행 중인 프로그램이고 디스크에 있던 프로그램이 메모리에 로드되면 프로세스가 된다. 이는 Context와 Memory로 개념을 나눌 수 있고, OS는 Context를 저장해서 실행 상태를 관리하고, Memory 구조를 통해 코드, 데이터, 스택, 힙을 분리해서 프로그램..

Explain은 select, delete, insert, replace, update 연산에 대해 수행 가능하다.이 연산을 통해 MySQL은 옵티마이저로부터 어떻게 쿼리가 실행되는지 어떤 순서로 테이블들이 조인되는지를 볼 수 있다. Explain 결과 해석결과에 나오는 테이블은 MySQL 이 처리할 때 읽는 순서로 노출된다. 이 말은 MySQL이 첫 테이블로부터 row를 하나 읽고, 두번째 테이블로부터 이 row에 매핑된 row를 찾고, 세번째 테이블에서도 반복한다는 말이다. 모든 테이블이 처리되면, MySQL는 선택된 columns를 출력하고 일치하는 행이 더 있는 테이블을 찾을 때까지 테이블 list를 통해 백트래킹한다.idSQL 문이 수행되는 실행순서로, id 값이 작을수록 먼저 수행된거고 id ..

일반적으로 MySQL은 단일서버에서 운영되고 필요에 따라 여러 서버를 구축해서 샤딩할 수 있다. 하지만 자동 샤딩 기능은 없기 때문에 데이터가 커진다면 애플리케이션 레벨에서 수동으로 샤딩 로직을 구성해야 한다. 그런데 Vitess에선 이걸 자동으로 해준다. 마치 MySQL 을 쓰는 것처럼 클라이언트에서 사용하면 되고, 데이터만 확장해서 샤딩 구조를 사용할 수 있다. 즉 MySQL 호환 버전의 클러스터링 시스템이 vitess 라고 보면 된다. Vitess 란 컨테이너 환경에서 제공되는 확장과 관리가 용이한 MySQL 기반의 분산 데이터베이스.Scalable. Reliable. MySQL-compatible. Cloud-native. Database. docs 에서 말하는 주요 기능은 아래와 같다.built..

JDBC란?Java Database Connectivity. 자바에서 DB에 접속하고 SQL 쿼리를 실행하며 결과를 처리할 수 있게 하는 표준 API로, JDBC 드라이버를 통해 특정 데이터베이스(MySQL, Postgre SQL 등)와 자바 애플리케이션 간의 통신을 가능하게 한다. 커넥션을 얻어 DB에 연결하고 명령어를 실행해서 결과를 처리한 뒤, Statement, ResultSet, Connection 객체를 닫아서 자원을 해제한다.// 연결Connection conn = DriverManager.getConnection( "jdbc:mysql://localhost:3306/mydb", "username", "password");// 명령 실행Statement stmt = conn...

Response already committed / broken pipe 위 상황이 발생하는 통신 과정에 대해 알아보자. 클라이언트가 서버에 요청서버는 클라이언트의 요청을 수신해서 필요한 작업을 수행응답 준비HTTP 메시지 형태의 응답을 구성하여 준비한다. header, body 로 이루어진다.응답 전송:서버는 준비한 응답을 클라이언트에게 전송하는데, 이때 header가 먼저 전송되고 body가 뒤따라 전송된다.응답 header를 클라이언트에 전송하고 나서 응답 body를 보내려는 시점을 commit 이라고 한다. 이 시점부터는 header를 변경하거나 새로운 응답을 보내는 것이 불가능하다.데이터 전송 중 클라이언트에서 연결 종료클라이언트가 응답을 받는 도중에 연결을 종료할 수도 있다. 사용자가 중간에 ..

Query Explain Planhttps://www.mongodb.com/ko-kr/docs/rapid/tutorial/analyze-query-plan/explain result를 보고 query에 대한 아래 정보를 얻을 수 있다.쿼리 수행에 걸리는 시간쿼리가 인덱스를 사용하는지쿼리 수행을 위해 스캔되는 문서나 인덱스 키의 개수쿼리 성능에 대한 통계를 제공하는 메소드[cursor.explain("executionStats")] & [db.collection.explain("executionStats")]쿼리가 인덱스를 사용하는지 여부와 방법을 측정할 때 유용아래 document가 들어있다고 가정하자.{ "_id" : 1, "item" : "f1", type: "food", quantity: 500 }..

우테코의 테코톡에서 잘 설명해줘서 두고 두고 보려고 기록하는 글. Index와 DB Index인덱스는, 쉽게 찾아볼 수 있도록 일정한 순서에 따라 놓은 목록을 말한다. 현재 데이터가 아무 기준 없이 저장된 상태라면 뒤죽박죽이라서, 특정 키워드를 찾으려 하면 모든 데이터를 순차적으로 탐색해야 한다. 그러나 데이터가 특정 기준으로 정렬되어 있다면 검색을 빠르게 할 수 있다. DB 인덱스는, 데이터베이스 테이블에 대한 검색 성능을 향상시키는 자료구조로, WHERE절 등을 통해서 활용된다.이메일을 인덱스로 정한다면, 이메일 컬럼에 대한 값을 복사해서 이걸 abc 순으로 정렬한 데이터가 생긴다. 여기서"SELECT * FROM member WHERE email = 'ehl3288@naver.com'을 실행하면 e..

코틀린 인 액션을 통해 빠르게 코틀린을 손에 익히고 있다. 코드나 사용법은 손과 눈에 익히면 그만인데 그 외에 언어의 특징은 기록해두려고 한다. 자바와 마찬가지로 코틀린도 정적 타입 언어다. (statically typed) 정접 타입 언어란, 모든 프로그램 구성 요소의 타입을 컴파일 시점에 알 수 있고 프로그램 안에서 필드나 메서드를 사용할 때마다 컴파일러가 타입을 검증해준다는 뜻 동적 타입 언어에는, JVM의 경우 Groovy나 JRuby 등이 있는데 타입과 관계 없이 모든 값을 변수에 넣을 수 있고 메서드나 필드 접근에 대한 검증이 실행 시점에 일어나며, 그에 따라 코드가 더 짧아지고 데이터 구조를 더 유연하게 생성하고 사용할 수 있다. 그러나 이러한 동적 타입 언어는 이름을 잘못 입력하는 등의 실..

Spring Batch의 도메인 이해 1) Job 배치 계층 구조에서 가장 상위에 있는 개념으로, 하나의 배치 작업 자체를 의미함. 배치 작업을 어떻게 구성하고 실행할지 전체적으로 설정하고 명세헤 놓은 객체 최상위 인터페이스로서 스프링 배치가 기본 구현체를 제공한다. JobLauncher가 run을 통해 job을 실행시킨다. 내부에 List 이라는 steps를 가지고 step을 거기다 add한다. build는 실제 job 기본 구현체 SimpleJob 순차적으로 step을 실행시키는 job. 스텝을 포함하고 있는 컨테이너 역할 모든 job에서 유용하게 사용 가능한 표준 기능을 가진다. FlowJob 특정 조건과 흐름에 따라 step을 구성해서 실행시키는 job Flow 객체를 실행시켜서 작업을 진행한다...