GPU 추론 인프라

LLM·음성·이미지·영상 모델을 직접 서빙하는 GPU 인프라를 구축하고 운영합니다.

개요

소속회사 프로젝트
역할인프라 구축 · 운영
기간2025 — 현재
팀AI 개발팀
스택NVIDIA RTX PRO 6000 · vLLM · Whisper · Docker · Cloudflare Tunnel

맥락

여러 AI 제품이 공통으로 쓰는 추론 기반입니다.

문제

외부 API만으로는 비용, 반복 속도, 데이터 통제에 한계가 있었습니다.

만든 것

  • GPU 서버 구성과 운영 환경
  • LLM·음성 인식·이미지·영상 추론 서버
  • 외부 서비스에서 안전하게 부르는 터널과 접근 제어

핵심 결정

  1. 서비스는 클라우드, 추론은 자체 GPU

    제품은 클라우드에서 확장하고 무거운 추론만 자체 GPU로 보내는 구조를 여러 제품의 기본형으로 삼았습니다.