■ input → processing → output → feedback loop

칸 : 입력 → 처리 → 출력 → feedback loop

규칙 (출력) : 스키마로 받아 뒤쪽 코드가 추측 없이 쓴다

규칙 (feedback loop) : 실패를 테스트 과제로 바꿔 프롬프트·설정 개선으로 되돌린다

질문 : 같은 오답이 반복되면 어느 칸이 빠졌을까?

① 네 칸이 다 돈다 ✓

1. 시작 : 입력 — 말 : “지금 해지하면 수수료가 얼마예요?”
2. 거름 : 입력 : 모델이 보기 전에 거른다 — 쪽지 : Haiku 4.5 선별 / { 안전: true, / 주제: "해지" }
3. 통과 : 입력 → 처리 : 앱이 분기한다 — 말 : “지금 해지하면 수수료가 얼마예요?”
4. 보강 : 처리 : 검색·도구·가드레일을 붙인다 — 쪽지 : 도구 : / get_contract / → 가입 14개월째
5. 스키마 : 처리 → 출력 : 항상 파싱되는 JSON 이다 — 쪽지 : { 수수료: 50000, / 근거: "약관 7조" / }
6. feedback loop : 출력 → feedback loop : 실패를 테스트 과제로 바꾼다 — 쪽지 : 신고 #812 / → 테스트 과제 / "14개월 해지 / = 30,000"
7. 개선 : feedback loop → 처리 : 개선으로 되돌린다 — 쪽지 : 프롬프트 수정 / eval 에 새 과제 / 포함해 통과
8. 다시 : 처리 → 출력 — 쪽지 : { 수수료: 30000, / 근거: "약관 7조" / }
9. 끝 : 실패를 테스트 과제로 바꿔야 regression 을 막는다

② feedback loop 가 끊긴다 ≠

1. 시작 : 입력 — 말 : “지금 해지하면 수수료가 얼마예요?”
2. 거름 : 입력 : 모델이 보기 전에 거른다 — 쪽지 : Haiku 4.5 선별 / { 안전: true, / 주제: "해지" }
3. 통과 : 입력 → 처리 : 앱이 분기한다 — 말 : “지금 해지하면 수수료가 얼마예요?”
4. 보강 : 처리 : 검색·도구·가드레일을 붙인다 — 쪽지 : 도구 : / get_contract / → 가입 14개월째
5. 스키마 : 처리 → 출력 : 항상 파싱되는 JSON 이다 — 쪽지 : { 수수료: 50000, / 근거: "약관 7조" / }
6. 쌓임 : 출력 → feedback loop : 로그만 쌓이고 과제가 안 된다 — 쪽지 : 신고 로그 3주치 / 같은 오답 214건 / 테스트 과제 0개
7. 끝 : 하나 고치면 다른 게 깨지는 사후 대응 루프다. 같은 오답이 계속 반복된다

③ 자유 문장 + 정규식 ≠

1. 시작 : 입력 — 말 : “지금 해지하면 수수료가 얼마예요?”
2. 거름 : 입력 : 모델이 보기 전에 거른다 — 쪽지 : Haiku 4.5 선별 / { 안전: true, / 주제: "해지" }
3. 통과 : 입력 → 처리 : 앱이 분기한다 — 말 : “지금 해지하면 수수료가 얼마예요?”
4. 보강 : 처리 : 검색·도구·가드레일을 붙인다 — 쪽지 : 도구 : / get_contract / → 가입 14개월째
5. 자유 문장 : 처리 → 출력 : 파싱 오류와 필수 필드 누락이 난다 — 쪽지 : "음, 3만 원쯤 / 될 것 같아요!" / 정규식 \d+원 / → 못 찾음
6. 끝 : 뒤쪽 코드가 추측해야 한다