[캡스톤] 우리두리 - 언어모델 기반 지능형 손자 로봇
🌾 수확 완료
독거노인의 우울감을 조기에 감지하고 정서적 지지를 건네는 대화형 돌봄 로봇. 음성 처리 파이프라인부터 보호자 전용 앱까지 풀스택으로 구축
- LLM 파인튜닝
- Float16 양자화
- Whisper STT
- 감정 분석
- TTS
- React
- Spring Boot
- Flask
개요
고령화로 독거노인은 빠르게 늘고 있지만 복지 제도가 모든 어르신을 살피기에는 한계가 있다. 우리두리는 어르신과 손자처럼 말을 주고받으며 대화 속에서 우울감의 신호를 조기에 감지하고, 실질적인 정서적 지지를 제공하는 것을 목표로 기획한 로봇이다. 로봇 본체의 대화 기능에 그치지 않고, 보호자가 원격으로 상태를 살필 수 있는 전용 앱까지 하나의 시스템으로 만들었다.
문제
- 독거노인의 우울감은 겉으로 드러나기 전에 대화의 결에서 먼저 나타나는데, 이를 일상적으로 관찰해 줄 사람이 없다.
- 언어모델을 로봇에 올리려면 하드웨어 자원이 제한된 환경에서도 실시간으로 답해야 한다. 클라우드에 매번 묻는 구조로는 응답 지연과 비용 문제가 생긴다.
- 로봇이 감지한 상태가 보호자에게 전달되지 않으면 “감지”는 의미가 없다.
시스템 구성
어르신 음성
│
▼
Whisper (STT) ──▶ 감정 분석 ──▶ 대화 생성 (파인튜닝 LLM) ──▶ TTS ──▶ 로봇 음성
│
▼
상태 기록 · 이상 징후
│
▼
보호자 앱 (React) ◀── Spring Boot / Flask 백엔드음성이 들어오면 Whisper로 텍스트를 만들고, 감정을 분석한 뒤 파인튜닝한 언어모델이 답을 생성하고, TTS로 다시 음성으로 돌려준다. 이 과정에서 나온 감정 상태와 활동 기록은 백엔드를 거쳐 보호자 앱에 쌓인다.
내가 한 일
포트폴리오에 적은 기여도는 설계 30% / 개발 40% / 최적화 50%다.
- 실시간 음성 처리 파이프라인 구축 - Whisper(STT) → 감정 분석 → 대화 생성 → TTS로 이어지는 실시간 아키텍처를 설계했다. React 프론트, Spring Boot와 Flask 백엔드를 연동해 로봇·모델·앱이 한 시스템으로 통신하는 풀스택 환경을 구현했다.
- 보호자 전용 앱 개발 - 단순 로봇 구동을 넘어 보호자가 원격으로 복약 알림을 설정하고, 어르신의 활동 상태와 응급 상황을 실시간으로 모니터링하는 전용 앱을 기획부터 UI 구현까지 전담했다.
- 모델 최적화 - 14만 건의 대화 데이터로 언어모델을 파인튜닝하고, Float16 양자화로 하드웨어 리소스를 줄여 제한된 환경에서도 실시간 응답이 가능하게 했다.
결과
- 14만 건 대화 데이터 기반 파인튜닝과 Float16 양자화로 로봇 환경에서 돌아가는 대화 모델을 완성했다.
- 보호자 앱까지 풀스택으로 구축해 “감지 → 전달 → 대응”이 끊기지 않는 구조를 검증받았다.
- 한국컴퓨터정보학회 우수논문상을 받았고, SW중심대학 우수작품 경진대회에서 시연했다.
수상 증적
논문 “대화형 손자 인형 적용을 위한 Ko-GPT 언어모델 개선 연구”로 2025년 한국컴퓨터정보학회(KSCI) 하계학술대회 우수논문상을 받았다(제1저자).
배운 것
- 최적화는 기능이 아니라 전제 조건이었다. 모델이 아무리 잘 답해도 로봇에서 3초 늦게 말하면 대화가 아니다. 양자화로 정밀도를 조금 내주고 응답 속도를 확보하는 선택이 사용자 경험을 결정했다.
- 파인튜닝 데이터의 결이 모델의 말투를 만든다. 14만 건을 그대로 넣는 게 아니라 어르신과의 대화에 맞는 어조와 길이를 갖도록 다듬는 과정이 모델 성능 이상으로 중요했다.
- 엔드투엔드로 만들어야 검증된다. 모델만 좋아도, 앱만 좋아도 안 된다. STT부터 보호자 알림까지 전체를 이어 봤을 때 처음 보이는 문제(지연 누적, 상태 동기화)가 가장 많았다.
한계
- 실제 어르신을 대상으로 한 장기 사용 검증은 하지 못했다. 우울감 감지의 정확도는 시연 환경 수준에서 확인한 것이다.
- 감정 분석과 이상 징후 판정 기준이 단순해서, 오탐이 보호자에게 불필요한 알림으로 이어질 수 있다. 임계값과 알림 정책을 더 다듬어야 한다.