지나공 : 지식을 나누는 공간

타 팀에서 Kafka 메시지를 발행하면 NiFi를 거쳐 우리팀 Kafka Consumer가 해당 메시지를 수신하는 프로세스가 있다.이 과정에는 아래 단계가 포함되는데, 가끔 길이가 긴 문자열로 된 Kafka Key가 들어왔을 때 3번 단계에서 NumberFormatException 이 발생했었다.String인 Kafka Key 를 hashCode 로 전환hashCode를 Hex Encoding 함.Hex Encoding 된 값을 fromRadix(16) 메소드를 활용해 Long 타입 숫자로 변환함. (parseLong)원인을 정확하게 확인하지 못하고 넘어갔었는데 최근에 간단한 내용이었음을 알게 되었다. 사전 지식길이가 긴 문자열을 hashCode(int) 전환 시 음수가 되는 케이스 문자열을 hashC..

지금 opensearch 를 운영 중인데 쿼리나 운영이 서툴러서 쿼리를 좀 기록하려 했다가... 클러스터 내용을 빠뜨리고 바로 쿼리에 대해 쓰기가 좀 아쉬워서 결국 chapter 1 같은 내용부터 쓴다. 전에 한참 elasticsearch를 전혀 모르고 책의 딱 챕터1만 읽었던 시절, 루씬과 엘라스틱서치가 여기저기 나와서 이게 뭔가 싶었다. 근데 시니어 분이 '그냥 Lucene을 감쌌을 뿐이다.' 라고 하셨는데, 그 말이 무슨 말인지 알겠다..ㅎ ElasticSearch 와 OpensearchElastic 에서 Apache Lucene 을 기반으로 만든 검색 엔진으로, 여러 서버에 분산해서 데이터를 저장하고 노드 추가를 통한 수평 확장이 가능하다. 7.11 버전부터는 오픈소스가 아니고 상용 라이선스로 ..

들어가는 말최근에 컨텍스트 스위칭이 비용이 드는 건 아는데, 왜 비용이 드는건지를 설명해보라는 질문에 간단명료하게 답하지 못했다. 학부 때나 취준하면서 CS를 보기는 했지만 OS, 네트워크 보다도 나도 모르게 프로젝트 과정에 대한 질문에 치우쳐서 학습했던 것 같다. 이를 반성하며... 오래된 OS 책을 다시 꺼냈다. 지금 보니 느낌이 좀 다른데 아무튼 컨텍스트 스위칭에 필요한 배경지식부터 간단하게 리마인드 해본다. 프로세스의 구조프로세스는 실행 중인 프로그램이고 디스크에 있던 프로그램이 메모리에 로드되면 프로세스가 된다. 이는 Context와 Memory로 개념을 나눌 수 있고, OS는 Context를 저장해서 실행 상태를 관리하고, Memory 구조를 통해 코드, 데이터, 스택, 힙을 분리해서 프로그램..

유독 올해는 연말이 온 걸 인지하지 못한 것 같다. 연예대상을 누가 탔다는 뉴스기사 제목을 보고 벌써 연예대상을 하나? 했는데 날짜 보고 놀람...ㅋㅋ 기존에 블로그에 썼던 23년 상반기 회고에서는 신입으로 팀에 배정된지 1년이 막 되어가던 시점이었고 조금씩 팀에서 하는 방향성 논의를 이해하게 됐다고 했었다. 그러나 하반기에는 이직을 해버렸고, 올해는 다시 처음부터 시작하는 느낌이 컸다. 근데 또 신입은 아니니 기존에 느껴본 적 없는 압박감도 상당했다. 이건 여전히 진행중이지만 오롯이 견뎌내야 하는 시간이니 여러 방식으로 에너지를 채워가며 지내고 있다. 부족한 부분도 어느정도 인지하는 중인지라 이런저런 마음이 드는데... 이건 혼자만의 노션 회고에 매년 회고하는 친구들과 함께 잘 정리할 것 같고ㅎㅎ 블로..

Explain은 select, delete, insert, replace, update 연산에 대해 수행 가능하다.이 연산을 통해 MySQL은 옵티마이저로부터 어떻게 쿼리가 실행되는지 어떤 순서로 테이블들이 조인되는지를 볼 수 있다. Explain 결과 해석결과에 나오는 테이블은 MySQL 이 처리할 때 읽는 순서로 노출된다. 이 말은 MySQL이 첫 테이블로부터 row를 하나 읽고, 두번째 테이블로부터 이 row에 매핑된 row를 찾고, 세번째 테이블에서도 반복한다는 말이다. 모든 테이블이 처리되면, MySQL는 선택된 columns를 출력하고 일치하는 행이 더 있는 테이블을 찾을 때까지 테이블 list를 통해 백트래킹한다.idSQL 문이 수행되는 실행순서로, id 값이 작을수록 먼저 수행된거고 id ..

일반적으로 MySQL은 단일서버에서 운영되고 필요에 따라 여러 서버를 구축해서 샤딩할 수 있다. 하지만 자동 샤딩 기능은 없기 때문에 데이터가 커진다면 애플리케이션 레벨에서 수동으로 샤딩 로직을 구성해야 한다. 그런데 Vitess에선 이걸 자동으로 해준다. 마치 MySQL 을 쓰는 것처럼 클라이언트에서 사용하면 되고, 데이터만 확장해서 샤딩 구조를 사용할 수 있다. 즉 MySQL 호환 버전의 클러스터링 시스템이 vitess 라고 보면 된다. Vitess 란 컨테이너 환경에서 제공되는 확장과 관리가 용이한 MySQL 기반의 분산 데이터베이스.Scalable. Reliable. MySQL-compatible. Cloud-native. Database. docs 에서 말하는 주요 기능은 아래와 같다.built..

JDBC란?Java Database Connectivity. 자바에서 DB에 접속하고 SQL 쿼리를 실행하며 결과를 처리할 수 있게 하는 표준 API로, JDBC 드라이버를 통해 특정 데이터베이스(MySQL, Postgre SQL 등)와 자바 애플리케이션 간의 통신을 가능하게 한다. 커넥션을 얻어 DB에 연결하고 명령어를 실행해서 결과를 처리한 뒤, Statement, ResultSet, Connection 객체를 닫아서 자원을 해제한다.// 연결Connection conn = DriverManager.getConnection( "jdbc:mysql://localhost:3306/mydb", "username", "password");// 명령 실행Statement stmt = conn...

Response already committed / broken pipe 위 상황이 발생하는 통신 과정에 대해 알아보자. 클라이언트가 서버에 요청서버는 클라이언트의 요청을 수신해서 필요한 작업을 수행응답 준비HTTP 메시지 형태의 응답을 구성하여 준비한다. header, body 로 이루어진다.응답 전송:서버는 준비한 응답을 클라이언트에게 전송하는데, 이때 header가 먼저 전송되고 body가 뒤따라 전송된다.응답 header를 클라이언트에 전송하고 나서 응답 body를 보내려는 시점을 commit 이라고 한다. 이 시점부터는 header를 변경하거나 새로운 응답을 보내는 것이 불가능하다.데이터 전송 중 클라이언트에서 연결 종료클라이언트가 응답을 받는 도중에 연결을 종료할 수도 있다. 사용자가 중간에 ..

Query Explain Planhttps://www.mongodb.com/ko-kr/docs/rapid/tutorial/analyze-query-plan/explain result를 보고 query에 대한 아래 정보를 얻을 수 있다.쿼리 수행에 걸리는 시간쿼리가 인덱스를 사용하는지쿼리 수행을 위해 스캔되는 문서나 인덱스 키의 개수쿼리 성능에 대한 통계를 제공하는 메소드[cursor.explain("executionStats")] & [db.collection.explain("executionStats")]쿼리가 인덱스를 사용하는지 여부와 방법을 측정할 때 유용아래 document가 들어있다고 가정하자.{ "_id" : 1, "item" : "f1", type: "food", quantity: 500 }..

우테코의 테코톡에서 잘 설명해줘서 두고 두고 보려고 기록하는 글. Index와 DB Index인덱스는, 쉽게 찾아볼 수 있도록 일정한 순서에 따라 놓은 목록을 말한다. 현재 데이터가 아무 기준 없이 저장된 상태라면 뒤죽박죽이라서, 특정 키워드를 찾으려 하면 모든 데이터를 순차적으로 탐색해야 한다. 그러나 데이터가 특정 기준으로 정렬되어 있다면 검색을 빠르게 할 수 있다. DB 인덱스는, 데이터베이스 테이블에 대한 검색 성능을 향상시키는 자료구조로, WHERE절 등을 통해서 활용된다.이메일을 인덱스로 정한다면, 이메일 컬럼에 대한 값을 복사해서 이걸 abc 순으로 정렬한 데이터가 생긴다. 여기서"SELECT * FROM member WHERE email = 'ehl3288@naver.com'을 실행하면 e..