카페24 LLM Router 서비스 소개
1. LLM Router란?
LLM Router는 한 마디로, 여러 회사의 AI(인공지능)를 한 곳에서 골라 쓸 수 있게 해주는 서비스입니다.
요즘은 ChatGPT 말고도 Claude, Gemini, DeepSeek, Qwen 같은 다양한 AI가 많이 나와 있는데, 각각 회사에 따로 가입하고 따로 결제해야 했습니다. LLM Router는 한 번 가입하고 한 번 충전해서 100개 이상 AI 모델을 골라 쓸 수 있게 해드립니다.
택시 호출 앱이 여러 택시 회사 차량을 한 앱에서 불러주는 것과 비슷합니다. 사용자는 "AI 한 번 써주세요"만 요청하면, 라우터가 적절한 AI를 자동으로 골라 응답해 줍니다.
2. 주요 기능
LLM Router에서는 다음 기능을 활용할 수 있습니다.
2.1 모델 비교·체험
"Models" 페이지에서 가격·출시일·기능 등을 비교하고, "체험하기"에서 직접 대화하며 모델을 선택할 수 있습니다.
2.2 Auto Router
cafe24/auto로 호출하면 프롬프트를 분석해 후보 중 적합한 모델을 자동 선택합니다.
2.3 프리셋(Preset)
자주 쓰는 모델·시스템 프롬프트·파라미터를 묶어 @preset/이름으로 한 줄 호출이 가능합니다.
2.4 캐시
동일·유사한 요청에 대해 이전 응답을 재사용해 비용을 절감합니다. FAQ 챗봇·상품 안내처럼 반복 호출이 많은 서비스에 효과적입니다.
2.5 BYOK (Bring Your Own Key)
보유 중인 외부 Provider 키(OpenAI·Anthropic·Google 등)를 등록해 사용할 수 있습니다.
2.6 마스킹(Masking)
이메일·휴대폰·주민등록번호·신용카드·IP 등 민감 정보를 모델에 보내기 전 자동으로 가립니다.
2.7 폴백(Fallback)
호출에 실패하면 다른 프로바이더·모델로 자동 전환합니다. 실패한 시도에는 과금하지 않습니다.
3. 호출 요청 처리 흐름
LLM Router에 들어온 API 요청은 다음 순서로 처리됩니다. 각 단계에서 조건을 충족하지 못하면 해당 단계에서 에러가 반환됩니다.
| 단계 | 처리 항목 | 설명 |
|---|---|---|
| 1 | 인증 / API Key 상태 확인 | 키 유효성, 비활성화·삭제·만료·한도 초과 여부를 확인합니다. |
| 2 | 잔액 확인 | 잔액이 충분하면 사후 차감하고, 부족하면 비용을 예측해 1회에 한해 마이너스를 허용합니다. |
| 3 | 캐시 확인 | 키별 캐싱이 ON이면 적중 여부를 확인합니다. 적중 시 캐시 응답을 반환하고 모델 호출을 생략합니다. |
| 4 | 프라이버시 처리 / Access Control 적용 | 민감 정보 마스킹이 ON이면 마스킹 후 프로바이더에 전달하고, 차단된 프로바이더·모델은 제외합니다. |
| 5 | 라우팅 | 호출 형태(모델 지정 / cafe24/auto / @preset)에 따라 프로바이더·모델을 선택합니다. |
| 6 | 프로바이더 호출 / 폴백 | 실패 시 폴백 엔진이 동일 모델의 다른 프로바이더 또는 폴백 모델을 시도합니다. |
| 7 | 응답 처리 | usage 데이터로 비용을 계산하고, 크레딧을 차감한 뒤 로그를 기록합니다. 자동 충전 트리거를 점검한 후 응답을 전달합니다. |
각 단계는 위에서 아래로 순차적으로 수행되며, 어느 한 단계에서 조건을 만족하지 못하면 그 시점에서 처리가 중단되고 에러가 반환됩니다. 예를 들어 2단계에서 잔액이 충분하지 않으면 모델 호출(6단계)은 발생하지 않습니다.
4. 제공 모델
현재 약 100개 이상의 AI 모델을 제공합니 다. 대표적으로 다음과 같은 모델들이 있으며, 신규 모델은 지속 추가될 예정입니다.
- Qwen, Llama, DeepSeek, GLM, Gemma 등 오픈소스 계열
- Mistral, GPT-OSS, Hunyuan, Kimi, Phi 등 글로벌 모델
- 코드·번역·창작 등 용도별 강점이 다른 모델
상단 메뉴 "Models"에서 가격·성능·출시일별로 비교하고 검색할 수 있습니다.
5. ChatGPT 단독 사용과의 차이
ChatGPT 같은 단일 AI 서비스를 그냥 사용하는 것과 비교했을 때, LLM Router는 다음 세 가지에서 차이가 있습니다.
5.1 여러 AI를 단일 API로
100개 이상의 모델을 동일한 호출 형식으로 사용할 수 있고, Auto Router로 적합한 모델을 자동 선택할 수도 있습니다.
5.2 선불 충전형 크레딧
충전한 금액 한도 내에서만 사용되며, 자동 충전을 켜지 않는 한 임의로 결제되지 않습니다.
5.3 카페24 결제 시스템 사용
충전 결제는 신용카드 또는 실시간 계좌이체로 처리되며, 세금계산서는 카페24 호스팅 세금계산서 시스템에서 발행됩니다.
서비스에 대한 추가 문의가 있으시면 1:1 문의게시판으로 문 의해 주세요.