LLM API 도입 전 필수 계산법: 문서 1천 건 처리할 때 월 비용 산정하는 4단계 공식

Photo by RDNE Stock project on Pexels

LLM API 비용 산정에서 자주 터지는 예산 초과 원인 2가지

사내 업무 자동화나 고객 응대 시스템에 생성형 AI 모델의 API를 도입할 때, 많은 현업 담당자가 가장 크게 당황하는 지점이 바로 월말에 청구되는 API 비용입니다. 기획 단계에서는 단순하게 계산하여 몇 십만 원 수준으로 예상했으나, 실제 운영에 들어가면 예산의 2배에서 3배가 넘는 금액이 청구되는 일이 빈번하게 발생합니다. 이러한 예산 예측 오차가 발생하는 원인은 크게 두 가지로 요약됩니다.

첫째, 입력 토큰(Input Token)과 출력 토큰(Output Token)의 단가 차이 및 비중 미숙지입니다. 대부분의 AI 서비스 제공업체는 입력 단가보다 출력 단가를 3배에서 4배가량 높게 책정합니다. 그러나 실무 프롬프트 설계 시 질문(입력)에 비해 모델이 생성하는 답변(출력)의 길이를 제어하지 않거나, 반대로 방대한 참고 문서를 프롬프트에 매번 집어넣어 입력 토큰을 과도하게 소비하는 현상을 미리 상정하지 않는 경우가 많습니다.

둘째, 한글 텍스트의 토큰화(Tokenization) 특성에 대한 오해입니다. 영어는 단어 1개가 대략 1.3개 내외의 토큰으로 변환되지만, 한글은 음절 단위나 조합에 따라 글자 1개당 2개에서 3개 이상의 토큰이 쓰이기도 합니다. 글자 수만 보고 토큰 수를 기계적으로 예측했다가 실제 토큰 사용량이 2배 이상 튀어 오르는 원인이 됩니다.

1단계: 한글 텍스트의 토큰 변환 비율 계산법

API 비용을 오차 없이 산정하기 위한 첫 번째 단계는 업무에서 다루는 문서의 글자 수를 정확한 '토큰 수'로 환산하는 일입니다. 토큰은 생성형 AI가 텍스트를 처리하는 최소 문자 단위입니다.

한글 처리 시 표준적인 토큰 환산 배율은 다음과 같습니다. 일반적인 한글 문서(공문, 보고서, CS 상담 내역) 기준으로 한글 1자(공백 포함)는 평균 1.8~2.5 토큰으로 변환됩니다. 영문이나 숫자가 섞여 있는 혼용 문서의 경우 평균 1.5~2.0 토큰 수준으로 낮아집니다.

한글 문서 토큰 환산 공식

[예상 토큰 수 = 한글 글자 수(공백 포함) × 한글 토큰 가중치(2.2)]

예를 들어 A4 용지 1장 분량의 보고서가 약 1,200자(공백 포함)라고 가정해 보겠습니다. 이 문서를 AI 모델에 입력값으로 전달할 때 발생하는 토큰 수는 아래와 같이 계산됩니다.

• 1,200자 × 2.2 = 2,640 토큰

만약 하루에 50장의 A4 보고서를 처리해야 한다면, 하루 입력 토큰은 132,000 토큰(2,640 토큰 × 50장)이 되며, 한 달(월 22일 영업일 기준) 동안 쌓이는 순수 입력 토큰은 2,904,000 토큰이 됩니다.

2단계: 프롬프트 구조에 따른 입력·출력 토큰 분량 산출

API 호출 1회당 소비되는 토큰은 단순히 원본 문서의 길이만으로 결정되지 않습니다. 실제 API 요청 시에는 AI에게 역할과 규칙을 부여하는 '시스템 프롬프트', 참조 데이터를 제공하는 '컨텍스트', 사용자의 '질문', 그리고 AI가 생성하는 '답변'이 모두 합산됩니다.

효율적인 토큰 산정을 위해 API 호출 1회당 구조를 다음 표와 같이 분해하여 각각의 토큰량을 산출해야 합니다.

위 표의 예시처럼, 실무자가 600자 분량의 요약 결과를 얻기 위해 1회 API를 호출할 때 입력 토큰 7,920개와 출력 토큰 1,320개가 소비됩니다. 입력과 출력의 비율이 약 6:1의 구조를 형성함을 확인할 수 있습니다.

3단계: 월간 업무량 기반 총 비용 산정 실전 예시 (A사 사례)

이제 구체적인 기업 사례를 통해 한 달 동안 발생하는 전체 API 비용을 직접 계산해 보겠습니다. A사 영업팀에서는 매월 1,000건의 고객 문의 및 계약 검토 문서를 AI로 자동 요약하고 핵심 항목을 추출하는 시스템을 구축하고자 합니다.

A사 업무 조건 및 토큰 단가 기준

• 월간 처리 건수: 1,000건 (영업일 기준 하루 약 45건)
• 1건당 입력 데이터: 평균 2,500자 (시스템 지침 + 본문 문서 포함)
• 1건당 출력 데이터: 평균 500자 (요약문 및 정형 데이터 추출)
• 적용 모델 단가 기준 (가상 표준 단가):
  • 입력 토큰 단가: 1,000,000 토큰당 $2.50 (USD)
  • 출력 토큰 단가: 1,000,000 토큰당 $10.00 (USD)
• 환율 적용: 1,350원 / $1.00

월간 토큰 사용량 계산

1회 호출당 입력 토큰: 2,500자 × 2.2 = 5,500 토큰
1회 호출당 출력 토큰: 500자 × 2.2 = 1,100 토큰

월간 총 입력 토큰: 5,500 토큰 × 1,000건 = 5,500,000 토큰 (5.5M 토큰)
월간 총 출력 토큰: 1,100 토큰 × 1,000건 = 1,100,000 토큰 (1.1M 토큰)

월간 달러 및 원화 비용 산출 공식

1) 월간 입력 비용: 5.5M × $2.50 = $13.75
2) 월간 출력 비용: 1.1M × $10.00 = $11.00
3) 월간 총달러 비용: $13.75 + $11.00 = $24.75
4) 원화 환산 비용: $24.75 × 1,350원 = 33,412.5원

단순 문서 1,000건을 1회씩만 처리할 때의 기본 비용은 약 33,400원 수준입니다. 하지만 실무 환경에서는 재시도(Retry), 프롬프트 수정 테스트, 개발 및 검수 과정의 호출량이 추가됩니다. 따라서 실무 예산 산정 시에는 위 계산 금액에 안전율 1.5~2.0을 곱하여 약 50,000원~67,000원 수준으로 예산을 집행하는 것이 타당합니다.

4단계: 캐싱과 모델 혼용 적용 시 절감액 계산

업무 규모가 대형화되어 월간 처리 건수가 10만 건 이상으로 늘어나면, API 비용은 수백만 원 단위로 급증합니다. 이때 예산을 크게 절감할 수 있는 핵심 기법 두 가지는 '프롬프트 캐싱(Prompt Caching)'과 '모델 혼용(Model Tiering)'입니다. 실제 절감 효과를 숫자로 비교해 보겠습니다.

1. 프롬프트 캐싱 적용 시 절감액

모든 API 요청에 고정적으로 들어가는 시스템 지침이나 공통 규정 문서(예: 3,000 토큰 분량)를 캐싱하면, 주요 API 서비스 제공업체 기준으로 해당 반복 입력 토큰에 대해 약 50%의 할인 혜택을 적용받습니다.

10,000건 처리 시 고정 입력 토큰이 30,000,000 토큰(30M)일 때:

• 기존 입력 비용: 30M × $2.50 = $75.00
• 캐싱 적용 비용: 30M × $1.25 = $37.50
• 절감액: $37.50 (원화 약 50,625원 절감, 입력 비용의 50% 절감)

2. 모델 혼용(Tiering) 적용 시 절감액

모든 문서 처리에 고성능 메인 모델을 사용할 필요는 없습니다. 단순 분류나 서식 검증에는 저렴한 소형 모델(입력 $0.15 / 1M 토큰)을 쓰고, 복잡한 종합 분석에만 고성능 모델(입력 $2.50 / 1M 토큰)을 사용하는 라우팅 체계를 구축합니다.

실무 적용 전 최종 검증 시크릿 체크리스트

API 도입 예산을 최종 상신하기 전, 현업 담당자가 데이터 누수를 막고 정밀하게 계산했는지 점검해야 할 6가지 체크리스트입니다.

• 토큰 가중치 확인: 내부 데이터의 한글/영문 비율에 맞는 토큰 가중치(한글 위주 2.2, 영문 혼용 1.8)를 적용했는가?
• 최대 출력 제한(max_tokens) 설정: 프롬프트 작성 시 답변 길이를 제한하는 파라미터를 설정하여 무제한 토큰 출력을 방지했는가?
• 테스트 및 예외 호출 비율 반영: 실제 운영 건수 외에 오류 재시도 및 사전 검수용 호출 비율(15~20%)을 예산에 추가했는가?
• 반복 프롬프트 캐싱 가능 여부: 매 호출마다 반복되는 규정, 템플릿 문서가 전체 입력의 30% 이상을 차지하여 Caching 적용 조건에 맞는지 확인했는가?
• 환율 및 결제 수수료 반영: 해외 API 결제 시 발생하는 카드 해외 승인 수수료(약 1.2~1.5%)와 환율 변동성을 예산 여유율로 확보했는가?
• 최신 요금표 확인: 각 AI 서비스 제공사의 최신 API 요금 페이지를 직접 방문하여 단가 변경 여부를 확인했는가? (법령, 고시, 서비스 약관 및 공급사 요금 정책은 수시로 변경되므로 집행 전 반드시 공식 사이트를 재확인해야 합니다.)

현업 담당자를 위한 핵심 실행 요약

1. 글자 수의 토큰 환산: 한글 문서의 공백 포함 글자 수에 2.2를 곱하여 정확한 예상 입력 토큰량을 먼저 구합니다.
2. 입출력 분리 계산: 단가가 3~4배 비싼 출력 토큰의 길이를 최소화하도록 프롬프트에 답변 글자 수 제한 규칙을 명시합니다.
3. 안전율 확보: 실전 월간 기본 계산 금액에 개발 테스트 및 예외 처리 비용을 감안하여 1.5배의 안전 예산을 편성합니다.
4. 최적화 기법 적용: 반복되는 컨텍스트 문서에는 프롬프트 캐싱을 적용하고, 단순 작업은 소형 모델로 분산시켜 전체 비용을 50% 이상 절감합니다.