GPU 추론 인프라
LLM·음성·이미지·영상 모델을 직접 서빙하는 GPU 인프라를 구축하고 운영합니다.
개요
| 소속 | 회사 프로젝트 |
|---|---|
| 역할 | 인프라 구축 · 운영 |
| 기간 | 2025 — 현재 |
| 팀 | AI 개발팀 |
| 스택 | NVIDIA RTX PRO 6000 · vLLM · Whisper · Docker · Cloudflare Tunnel |
맥락
여러 AI 제품이 공통으로 쓰는 추론 기반입니다.
문제
외부 API만으로는 비용, 반복 속도, 데이터 통제에 한계가 있었습니다.
만든 것
- GPU 서버 구성과 운영 환경
- LLM·음성 인식·이미지·영상 추론 서버
- 외부 서비스에서 안전하게 부르는 터널과 접근 제어
핵심 결정
-
서비스는 클라우드, 추론은 자체 GPU
제품은 클라우드에서 확장하고 무거운 추론만 자체 GPU로 보내는 구조를 여러 제품의 기본형으로 삼았습니다.