■ 모델별 thinking 제어

판단 규칙

상황 변수

뒤집히는 때

1. Haiku 4.5 대량 분류기의 "thinking 비용 상한" — 켜지 않는 게 가장 싼 상한

• 조건 : Haiku 4.5 로 하루 30만 건을 분류한다. 지문은 thinking 비용에 상한을 걸라고 한다.
• 계산 : Haiku 4.5 출력은 $5 / 백만 토큰이다. thinking 을 켜면 budget_tokens 는 최소 1,024 이고, max_tokens 는 그보다 커야 한다. max_tokens 가 1,300 이면 요청당 출력은 최악 1,300 × $5 = $0.0065 다. 하루 최악은 30만 × $0.0065 = $1,950 이다. thinking 없이 라벨만 30 토큰이면 30 × $5 = $0.00015 이고, 하루 $45 다. 배치로 돌리면 출력이 $2.50 이라 둘 다 절반이 된다.
• 전제 : 입력 비용은 양쪽이 같다고 보고 뺐다. thinking 을 켠 쪽은 최악(상한까지 씀) 기준이다. 가격은 2026-09-28 조회값이다.
• 판단 : 지문의 답은 "budget_tokens(adaptive·effort 아님) + 엄격한 상한은 max_tokens" 다. 단 Haiku 4.5 는 thinking 이 기본으로 꺼져 있다. 그래서 thinking 없이 eval 을 통과하면 "켜지 않음"이 가장 싸고 확실한 상한이다. 보기에 그것이 있으면 그쪽이 설 자리가 있다.
• 등급 : 계산 (단가·최소값·기본 꺼짐은 확인)
• 근거 : ko-pricing 표 · extended-thinking · thinking-troubleshooting

2. Opus 5 설정을 Opus 5.5 로 그대로 옮긴 때

• 조건 : effort 를 적지 않은 채 Opus 5 에서 Opus 5.5 로 모델 문자열만 바꿨다.
• 판단 : Opus 5 기본은 high 이고 Opus 5.5 기본은 medium 이다. 그래서 한 단계 낮게 실행된다. 복잡한 일에서 품질이 떨어지면 모델 탓이 아니라 기본값 차이일 수 있다. 그러니 자기 eval 로 effort 를 스윕한다. 또 thinking: {type: "disabled"} 를 쓰던 코드는 Opus 5.5 에서 모든 effort 에서 400 이다.
• 근거 : effort en-2026-09-28
• 시험 뒤 변경 Opus 5.5 = 2026-09-22 출시 (릴리스 노트)

3. 대화 중간에 깊이를 바꾸면 캐시가 깨지는 때

• 조건 : 긴 대화를 캐싱으로 돌리다가 "이번 턴만 더 깊게" 하려고 요청 단위 effort 를 high 에서 max 로 바꾼다.
• 판단 : 요청 단위 effort 는 프롬프트에 렌더링된다. 그래서 메시지 캐시가 전부 미스가 난다. Fable 5.1·Mythos 5.1·Opus 5.5·Opus 5 는 메시지별 effort(role: "system" 메시지, 베타)로 캐시를 지킨다. 그 밖의 모델은 두 길이 있다.
  • 대화 시작에 effort 를 정하고 고정한다.
  • 그 턴의 user 메시지 끝에 "Please think hard before responding." 같은 유도 문구를 넣는다(캐시가 깨지지 않는다).
• 근거 : effort en-2026-09-28 · thinking-steering-and-cost
• 시험 뒤 변경 메시지별 effort 베타 = 2026-09-01~ (릴리스 노트)

4. budget_tokens 가 "엄격한 상한"으로 불리는 문장

• 조건 : 지문이나 보기에 "budget_tokens 로 thinking 비용에 hard cap" 이 있다.
• 판단 : 공식 문서끼리 표현이 다르다. extended-thinking 은 "목표치이지 엄격한 상한이 아니다. 엄격한 상한은 max_tokens 다" 라고 쓴다. prompting-best-practices 는 "hard ceiling on thinking costs … budget_tokens cap" 이라고 쓴다. 안전한 답은 이렇다. 엄격한 상한은 max_tokens 다. budget_tokens 는 thinking 깊이 lever 다.
• 등급 : 미해결 (문서 간 표현 충돌)
• 근거 : extended-thinking · prompting-best-practices

오답 재료

미해결

1. budget_tokens 를 "hard ceiling/cap" 으로 부르는 문장(prompting-best-practices)과 "target rather than a strict cap"(extended-thinking)이 충돌한다 (뒤집히는 때 4).
2. Opus 4.5 가 받는 effort 단계는 확인하지 못했다. max 목록(effort en-2026-09-28)과 xhigh 목록에 Opus 4.5 가 없다. 그래서 low·medium·high 만으로 추정된다. 그러나 표 끝 "Supported models" 가 접혀 받아지지 않아 못 확인했다(추론).
3. 목록 2.3③ 과 대조한 결과는 아래와 같다.
   • 모델별 규칙, effort 단계, 기본값(대부분 high · Opus 5.5 medium)은 공식과 같다.
   • 다만 목록 문제 상황 "사고 토큰 비용 상한 → budget_tokens" 는 공식 기준으로 고쳤다. 깊이는 budget_tokens 로, 엄격한 상한은 max_tokens 로 정한다.
   • 목록 영어 신호 2문장은 원문에서 찾았다(prompting-best-practices · thinking-troubleshooting).
4. Skilljar 287773(2025 제작)은 코드 키를 budget 로 적었다. "thinking budget = 최대 토큰"이라고도 했다. 지금 docs 는 budget_tokens 이고, 목표치다.