RAG를 실전에 붙일 때 생기는 일 - 발표 영상 정리

기업 환경에 RAG/AI Agent를 실제로 적용하며 겪은 시행착오를 정리한 발표 영상(테디노트 - “RAG와 AI Agent, 비즈니스 적용 난중일기”)을 보고 주요 인사이트를 정리함.

평가가 제일 어렵다

• 모범답안과 통일된 기준이 없으면 평가 자체가 불가능하다. “열심히 만들었다”는 말로는 대화가 안 되고, 어떤 기준으로 시험을 봤고 몇 점인지 말할 수 있어야 함
• “좋은 답변”의 기준이 사용자마다 다르다 - 자세한 답변을 선호하는 사람도, 불필요하게 길다고 싫어하는 사람도 있음
• 그래서 프로젝트 초기에 현업 담당자 인터뷰 등으로 모범답안을 최대한 확보해두는 게 먼저

검색 성능은 문서 수가 늘수록 무너진다

• dense 벡터 검색만으로는 한계 - 최신 임베딩 모델도 특정 조건에서 recall@100이 20% 미만까지 떨어지는 사례
• 검색 대상을 줄이는 구조가 필요: metadata filtering, query router, 계층/그래프 구조 활용

문서 파싱은 RAG의 첫 관문

• 기본 Document Loader는 POC엔 충분하지만, 실문서(HWP, 스캔 PDF, 표 안의 표 등)에서는 별도 전처리·후처리가 필수
• 범용 파서 결과를 그대로 쓰지 말고 대상 문서 구조에 맞춘 후처리 로직을 만들어야 함

데모와 실전의 괴리

• 작은 문서 몇 개로는 잘 되지만, 실제 문서와 실제 질문이 들어오면 파싱·검색·평가·운영 문제가 한꺼번에 드러남
• RAG는 모델 선택 문제가 아니라 시스템 설계 문제 - 이 문장이 이 발표의 핵심이라고 느낌