상담 통화 분석 파이프라인
자체 GPU와 클라우드를 묶어, 매일 쌓이는 상담 녹취를 자동으로 읽어 내는 시스템.
개요
| 소속 | 회사 프로젝트 |
|---|---|
| 역할 | 단독 개발 |
| 기간 | 2025 — 2026 |
| 팀 | 1인 |
| 스택 | Whisper · Pyannote · vLLM · Qwen · Cloudflare Tunnel · AWS · Next.js |
맥락
음성 상담 녹취를 분석해 상담 내용과 품질을 파악하는 시스템입니다.
문제
민감한 음성을 외부 API로 보내지 않으면서, 매일 쌓이는 녹취를 사람 손 없이 처리해야 했습니다.
만든 것
- 음성 인식 → 화자 분리 → LLM 요약·분류·감성·키워드 분석 파이프라인
- 자체 GPU 서버의 음성 인식·LLM 추론 서버와 보안 터널
- 매일 아침 자동으로 도는 배치와 분석 대시보드
핵심 결정
-
하이브리드: 추론은 자체 GPU, 서비스는 클라우드
무거운 음성 인식과 LLM 추론은 자체 GPU에서 돌려 데이터와 비용을 통제하고, API와 대시보드는 클라우드에서 확장되게 나눴습니다.
-
오픈 모델을 직접 서빙
외부 LLM API 대신 vLLM으로 오픈 모델을 직접 서빙해, 음성 데이터가 밖으로 나가지 않게 했습니다.