Domain AI · Trainable NPU
PrototypeBench
우리 회사 기준을 배우는 작은 AI 모델,
그리고 그 학습을 기기 안에서 하는 NPU
반복 판단은 프론티어 모델 대신, 고객의 판단 기록으로 학습한 0.32B 전용 모델이 맡습니다. 판정 데이터는 밖으로 나가지 않고, 기준은 쓸수록 쌓입니다.
The inference paradox
토큰은 싸지는데, 청구서는 커집니다
워크플로우당 추론 비용
토큰 단가가 내려가도, 에이전틱 워크플로우당 추론 비용은 2028년까지 5배 넘게 늘어납니다.
가트너 예측, 2026.08
에이전트형 요청 비중
도구 호출로 끝나는 요청이 6개월 만에 두 배가 되었습니다.
Vercel AI Gateway, 2025.10 → 2026.04
에이전트형 요청의 토큰 비중
에이전트 루프 안의 많은 단계가 같은 형태의 반복 판단입니다.
Vercel AI Gateway, 2026.04
답은 라우팅입니다. 고위험 판단은 프론티어 모델에, 반복 판단은 전용 소형 모델에.
Domain tuning service
고객의 기준을 그대로 배운 전용 모델
판단 기록
고객의 도메인 데이터와 정답 라벨을 받습니다.
어댑터 학습
judge-ko는 그대로 두고 작은 어댑터만 학습합니다.
전용 모델 납품
고객 서버·PC에서 실행 파일 하나로 돌아갑니다.
확신도 검수
확신이 낮은 판정만 사람이 확인합니다.
↺ 검수 결과가 다시 학습 데이터가 됩니다 — 쓸수록 고객 기준에 가까워집니다
고객센터·커머스
문의 분류·긴급도 판정, 상담 품질 평가
플랫폼·커뮤니티
게시물·댓글의 유해성·정책 위반 심사
사내 AI 에이전트
답변의 사실성·정책 준수 검수, 다음 단계 판단
판정 데이터는 외부로 나가지 않고, 비용은 판정 건수가 아니라 계약으로 고정됩니다.
judge-ko · vs SOTA open judge
0.32B로 SOTA급 공개 판단 모델을 넘습니다
| 한국어 판단 과제 | judge-ko (0.32B) | OpenJev (27B) |
|---|---|---|
| 뉴스 주제 분류 (YNAT) | 85.7 | 74.7 |
| 개체 관계 분류 (RE) | 63.2 | 48.3 |
| LLM 답변 신뢰성 | 86.4 | 71.8 |
| 대화 발화 윤리성 | 83.2 | 70.4 |
| 문장 함의 (NLI) | 83.9 | 94.2 |
| 6개 과제 평균 | 82.0 | 74.8 |
Open benchmark
PrototypeBench 벤치마크 — 에이전트가 풀스택 제품을 만들 수 있는가
SWE-Bench가 성숙한 라이브러리의 버그 수정을 잰다면, PrototypeBench는 지금 AI 제품을 만드는 스택에서 에이전트가 풀스택 기능을 완성할 수 있는지를 잽니다. 판단을 사람이 아닌 테스트 실행으로 하는 원칙은 judge-ko의 평가 방식과도 같습니다.
Trainable NPU
추론만 하던 NPU가 기기 안에서 학습합니다
지금의 스마트폰·PC NPU는 추론용입니다. 학습에 필요한 기울기 계산을 못 해, 개인화는 기기 밖 GPU 서버에서만 가능했습니다.
- 같은 회전 공간에서 계산 — 4비트로 줄인 베이스와 고정밀 어댑터를 함께 써서 정확도 손실을 보정
- 곱셈기 없는 변환 회로 — 덧셈·뺄셈만으로 변환해 메모리·전력을 줄임
- 추론 회로를 학습에 재사용 — 같은 회로로 기기 안에서 어댑터를 갱신
고객 전용 모델이, 고객의 기기 안에서, 매일 다시 배웁니다.
Contact
도메인 특화 튜닝을 시작해 보세요
판정 업무 종류와 월 판정 건수를 알려 주시면, 비용과 정확도를 함께 비교한 PoC를 제안드립니다.