오늘 배운 단어 - JSONL·Parquet·청킹

데이터 저장 포맷을 비교하며 정리한 용어.

• JSONL (JSON Lines): 한 줄에 JSON 객체 하나씩 저장하는 포맷. 한 건 추가 시 줄만 덧붙이면 되고, 한 줄이 깨져도 나머지는 살아 있어 append 중심 파이프라인에 적합
• Parquet: 컬럼 단위로 저장하는 바이너리 포맷. 집계·분석에는 빠르지만 한 건 추가할 때 파일 전체를 다시 써야 함
• 청킹 (Chunking): 검색 대상 문서를 임베딩하기 전에 일정 단위로 분할하는 작업. 분할 기준이 검색 품질을 좌우함