■ 과정 투명성

계획을 실시간으로 · 너무 적지도 많지도5.5 본편

표시가 없는 문장은 공식 문서에서 확인한 내용이에요. 다른 표시는 읽는 법

왜 배우나 — 시험이 요구하는 것

시험 목표 5.5 편향·공정·투명 · D5 규정·안전 14%
Address ethical AI considerations (bias, fairness, transparency)

이 개념으로 푸는 판단 (할 수 있어야 하는 것)

5.5③ 에이전트가 엉뚱한 부서에 연락했다 — 왜 그랬는지 보이게 하려면? — 투명성·설명 가능성 설계 (과정을 보이게, 적당한 양으로)

한눈에

사람이 에이전트의 문제 해결 과정을 볼 수 있어야 한다. 안 보이면 "고객 이탈 줄이기"를 맡긴 에이전트가 시설팀에 사무실 배치 문의를 보내도 왜인지 모른다

잘 설계하면 에이전트가 이유를 설명한다. 그러면 사람이 데이터를 사실 확인하고 출처가 맞는지 보며 방향을 잡는다

비유 terraform plan 과 같다. apply 전에 무엇을 바꿀지 보여 준다. 사람이 보고 고친 뒤 진행한다

결과만 보이면 에이전트가 왜 시설팀에 문의했는지 모르고, 계획을 실시간 할 일 목록으로 보이면 사람이 이유·출처를 확인하고 언제든 고친다는 대비 — 그림으로 보기 (AI 생성 · Codex · 누르면 크게)

ELI5

심부름꾼이 "지금 이거 하러 가요" 하고 할 일 쪽지를 계속 보여 주는 거예요.

쪽지를 보면 엉뚱한 데 가는지 바로 알아요.
쪽지가 한 줄이면 뭘 하는지 몰라요.
쪽지가 백 장이면 읽다가 지쳐요.
이상하면 중간에 "잠깐, 그건 왜?" 하고 물어요.

개념 설명

영상 — 사람은 무엇을 봐야 끼어들까? (약 43초 · 소리 없음 · 자막). 시설팀 문의가 25줄 중 19번째인 것 · 읽는 속도 · 진행 속도 · 묶음 크기(12·6·7)는 그림용 가정 작은 화면에서는 전체화면(⛶)으로 보세요.

원리

왜 보여 주나

에이전트는 스스로 과정·도구를 고른다. 그래서 사람이 과정을 못 보면, 맞게 가는지와 왜 그 행동인지를 판단하지 못한다 (safe-trustworthy).
공식 예가 있다. "고객 이탈 줄이기" 를 맡긴 에이전트가 시설팀에 사무실 배치를 문의한다. 과정이 안 보이면 황당하다. 이유("시끄러운 자리 영업 담당 고객은 이탈률 40% 높음")를 보여 주면 사람이 데이터를 사실 확인할 수 있다. 출처를 바로잡을 기회도 생긴다.

보여 주는 법

계획을 실시간으로 보인다 : Claude Code 할 일 목록이 그 예다. 사람은 언제든 끼어들어 묻거나 계획을 고친다.
에이전트 3원칙은 단순함, 투명성(transparency), 도구 문서화·테스트다. 투명성은 계획 단계를 명시적으로 보여 주는 것이다 (building-effective-agents).
이유에 출처를 단다 : 주장마다 인용·출처를 달게 해 감사할 수 있게 한다. 못 찾으면 철회한다 (reduce-hallucinations).

양 조절

너무 적으면 판단할 수 없다. 너무 많으면 관련 없는 세부에 묻힌다. 공식은 "중간을 잡되 더 다듬어야" 한다고 말한다. 정답은 한 점이 아니라 "판단에 필요한 만큼" 이다.

통제(control)와 짝

투명성은 보여 주기만 한다. 고치려면 통제가 있어야 한다. 통제는 언제든 멈추고 방향을 바꾸는 것, 그리고 고위험(high-stakes) 결정 전 사람 승인(human approval)이다.
가치 정렬을 믿을 만하게 재기는 어렵다. 그래서 그 전까지 투명성·통제 원칙이 특히 중요하다.

투명성과 기록은 다르다

투명성은 실행 중 사람에게 보이는 것이다. 무엇을 뒤에 남길지(프롬프트·응답 원문 보관 · 사용자 귀속)는 다른 질문이다. 자세한 것은 ■ 텔레메트리 기록 범위 에 있다.

규칙과 판단

결과만은 너무 적고 내부 과정 전부는 너무 많아 계획과 이유를 보이는 중간이 맞으며, 인용 출처를 못 찾으면 그 주장을 철회한다는 그림 — 그림으로 보기 (AI 생성 · Codex · 누르면 크게)

갈림길

①② 얼마나 보일까 [5.5③]

사람이 무엇을 보나?

결과만

너무 적다

제대로 가고 있는지 판단하지 못한다

내부 과정 전부

너무 많다

①④ 언제 보이나 [5.5③] [5.3]

언제 보이나?

실행 중 실시간으로

언제든 끼어든다

언제든 끼어들어 묻거나 계획을 고친다. 구독 해지 같은 고위험(high-stakes) 결정 전에는 사람이 승인한다

끝난 뒤 로그로만

늦다

실행 중에는 못 고친다 업계 일반 공식은 '실시간'만 말함

③ 이유를 믿을까 [5.5③]

이유에 근거가 있나?

출처가 없다

감사할 수 없다

주장마다 인용·출처를 달게 해 감사할 수 있게 한다

인용이 있다

인용 출처를 찾을 수 있나?

찾았다

주장을 유지한다

사람이 출처가 맞는지 확인한다

못 찾았다

철회한다

인용을 못 찾으면 그 주장을 철회한다

흐름

그림 속 이름·금액·시간·토큰 수는 예시예요. 공식 한도·동작은 카드 본문 값이 기준.

장면 글로 보기

칸 : 에이전트 → 할 일 목록 → 사람

규칙 (할 일 목록) : 계획한 행동을 실시간 할 일 목록으로 보인다

질문 : 사람은 무엇을 봐야 끼어들 수 있을까?

① 계획을 실시간으로 ✓

시작 : 에이전트 — 쪽지 : 목표: 고객 이탈 줄이기
보이기 : 에이전트 → 할 일 목록 : 계획을 실시간으로 보인다 — 쪽지 : ☐ 해지 설문 읽기 / ☐ 이탈 사유 묶기 / ☐ 시설팀에 배치 문의
읽기 : 할 일 목록 → 사람 : 이유와 출처를 확인한다 — 쪽지 : 3번 이유: "상담 대기실 좁다" 38건 / 출처: 9월 해지 설문
고치기 : 사람 → 에이전트 : 언제든 끼어들어 고친다 — 말 : “3번은 빼고, 설문 원문부터 보여 줘.”
끝 : 사람이 계획과 이유를 보고 방향을 잡는다

② 결과만 보인다 ≠

시작 : 에이전트 — 쪽지 : 목표: 고객 이탈 줄이기
실행 : 에이전트 : 시설팀에 문의한다 — 쪽지 : 메일 → 시설팀 / "사무실 배치 바꿀 수 있나요?"
건너뜀 : 할 일 목록
읽기 : 에이전트 → 사람 : 결과만 온다. 왜인지 모른다 — 쪽지 : 작업 완료 / 메일 1통 발송
끝 : 너무 적다. 에이전트가 제대로 가고 있는지 사람이 판단하지 못한다

③ 전부 쏟아 낸다 ≠

시작 : 에이전트 — 쪽지 : 목표: 고객 이탈 줄이기
보이기 : 에이전트 → 할 일 목록 : 내부 과정을 전부 보인다 — 쪽지 : tool_call #1 … #25 / 원문 JSON 25개
읽기 : 할 일 목록 → 사람 : 관련 없는 세부에 묻힌다 — 말 : “그래서 지금 뭘 하려는 거지?”
끝 : 너무 많다. 관련 없는 세부에 묻힌다

나머지 규칙

무엇을 남기나(원문 보관 여부 · 사용자 귀속)는 ■ 텔레메트리 기록 범위 에 있다. 투명성은 실행 중 사람에게 보이는 것이다. 기록은 뒤에 남기는 것이다. 둘은 다른 질문이다

규칙 원문 ①②③④ (갈림길로 그린 규칙)

계획을 실시간으로 : Claude Code 는 계획한 행동을 실시간 할 일 목록으로 보여 준다. 사용자는 언제든 끼어들어 묻거나 계획을 고친다 [5.5③]

에이전트 3원칙 중 하나는 계획 단계를 명시적으로 보여 줘 투명성(transparency)을 우선하는 것이다
양 : 너무 적으면 제대로 가고 있는지 판단하지 못한다. 너무 많으면 관련 없는 세부에 묻힌다. 그래서 중간을 잡는다. 공식도 더 다듬어야 한다고 인정한다 [5.5③]
이유 + 출처 : 주장마다 인용·출처를 달게 해 감사할 수 있게 한다. 응답 뒤 인용을 찾아 검증한다. 인용을 못 찾으면 그 주장을 철회한다 [5.5③]

에이전트가 이유를 설명하면 사람이 데이터를 사실 확인하고 출처가 맞는지 보며 방향을 잡는다
투명성 + 통제 짝 : 사람은 언제든 멈추고 방향을 바꾼다. 구독 해지 같은 고위험 결정 전에는 사람이 승인한다. 가치 정렬을 믿을 만하게 재기 전까지는 투명성·통제(control)가 특히 중요하다 [5.5③] [5.3]

끝난 뒤 로그로만 보면 실행 중에는 못 고친다 업계 일반 공식은 '실시간'만 말함

더 깊이 : 판단 규칙 · 상황 변수 (설명)

판단 규칙

조건	답	근거
에이전트가 왜 그 행동을 했는지 사람이 알아야 한다	계획한 행동을 실시간으로 보여 주고 이유를 설명하게 한다	safe-trustworthy
사람이 실행 중에 방향을 바꿔야 할 수 있다	언제든 끼어들어 묻거나 계획을 고칠 수 있게 한다	safe-trustworthy
얼마나 보일지 정해야 한다	궤도 판단에 필요한 만큼 보인다. 결과만(적음)도, 원문 전부(많음)도 아니다	safe-trustworthy
에이전트의 이유·주장을 믿어야 한다	주장마다 인용·출처를 달아 감사할 수 있게 한다. 못 찾으면 철회한다	reduce-hallucinations
되돌리기 어려운 고위험 결정이다	실행 전에 사람이 승인한다	safe-trustworthy
에이전트를 설계할 때 원칙이 필요하다	계획 단계를 명시적으로 보여 줘 투명성을 우선한다	building-effective-agents

상황 변수

변수	값	답 쪽	등급	근거
보는 사람	실행을 맡긴 사용자	계획·이유를 실시간으로 보인다		판단 규칙 1
보는 사람	운영팀(대규모)	개별 대화 내용 대신 결정 패턴·상호작용 구조를 본다. 자세한 것은 ■ 텔레메트리 기록 범위 에 있다		multi-agent-research-system
작업 길이	짧은 한 번짜리	계획 목록 부담이 크다. 결과와 근거로 충분할 수 있다	업계 일반	—
작업 길이	긴 여러 단계	계획이 중간에 틀어질 여지가 크다. 그래서 실시간 계획이 값지다	업계 일반	—
행동 위험도	읽기만	승인 없이 진행한다 (Claude Code 기본 읽기 전용)		safe-trustworthy
행동 위험도	수정하거나 되돌리기 어렵다	실행 전에 사람이 승인한다		safe-trustworthy
규제 환경	원문 보관 제한	보이기와 남기기를 나눠 판단한다. 자세한 것은 ■ 텔레메트리 기록 범위 에 있다	업계 일반	미해결 1

연습 문제

"고객 이탈 줄이기" 를 맡은 Agent 가 시설팀에 사무실 배치 문의를 보냈다. 관리자 화면에는 끝난 작업의 결과만 뜬다결과만. 누군가 "그럼 도구 호출 원문을 전부 띄우자" 고 한다. 지금 화면의 문제는 무엇인가?

시험 대비

함정

내부 과정을 원문 그대로 전부 쏟아 보이는 것은 함정이다. 관련 없는 세부에 묻힌다
결과만 보이고 과정은 숨기는 것은 함정이다. 제대로 가고 있는지 판단하지 못한다
사후 로그만 남기고 실행 중에는 안 보여 주는 것은 함정이다. 실시간 할 일 목록으로 보이고, 언제든 끼어들게 한다 (업계 일반 대조)
"DEBUG 로그를 전부 켜면 투명하다" 는 함정이다. 양이 많으면 묻힌다. 원문 기록은 기본 off 다. 자세한 것은 ■ 텔레메트리 기록 범위 에 있다
이유 설명만 받고 출처는 안 보는 것은 함정이다. 인용·출처로 감사할 수 있게 한다

신호

"Humans need visibility into agents’ problem-solving processes."

"In Claude Code, Claude shows its planned actions through a real-time to-do checklist, and users can jump in at any time to ask about or adjust Claude’s workplan."

"Too little information leaves humans unable to assess whether the agent is on track to achieve its goal. Too much can overwhelm them with irrelevant details."

"Prioritize transparency by explicitly showing the agent’s planning steps."

"Make Claude's response auditable by having it cite quotes and sources for each of its claims."

보통은 계획·이유·출처를 실시간으로 보이지만, 원문을 다 쏟으면 소음, 멈출 수단이 없으면 승인 게이트, 근거 없는 수치엔 인용과 철회를 요구한다. — 그림으로 보기 (AI 생성 · Codex · 누르면 크게) — 자세한 조건은 아래 '더 깊이'에 있어요

더 깊이 : 뒤집히는 때 · 오답 재료 (설명)

뒤집히는 때

1. 많이 보여 줄수록 투명? — 안 뒤집힘, 오히려 반대

조건 : 에이전트가 단계마다 도구 호출 원문 25개를 사용자 화면에 그대로 띄운다.
판단 : 공식은 "너무 많으면 관련 없는 세부에 묻힘" 이라 한다. 양을 늘리는 것은 투명성이 아니라 소음이다. 답은 계획 요약, 이유, 출처다.
근거 : safe-trustworthy

2. 보여 줬는데 사람이 못 고침

조건 : 할 일 목록은 보이지만 실행 중 멈춤·수정 수단이 없다. 에이전트가 이미 공급사 3곳에 메일을 보낸 뒤 사람이 목록을 본다.
판단 : 투명성만으로는 모자란다. 통제(언제든 멈추고 방향 바꾸기 · 고위험 결정 전 승인)와 짝이어야 한다. 그래서 보기 중 "승인 게이트 추가" 가 이 상황의 답일 수 있다.
등급 : (원칙) · 예시 숫자는 새로 고름
근거 : safe-trustworthy

3. 이유를 잘 설명하는데 틀림

조건 : 에이전트가 그럴듯한 이유를 대지만 인용한 수치가 원자료에 없다.
판단 : 설명이 있다고 믿으면 안 된다. 주장마다 인용을 요구하고, 못 찾으면 철회하게 한다.
근거 : reduce-hallucinations · safe-trustworthy(사실 확인 기회)

오답 재료

오답	왜 끌리나	왜 틀리나	등급	근거
"내부 과정을 원문 그대로 전부 보여 준다"	숨김이 없어 보인다	너무 많으면 관련 없는 세부에 묻힌다		safe-trustworthy
"결과만 보여 주고 과정은 숨긴다(깔끔한 화면)"	사용자 부담이 적다	궤도에 있는지 판단하지 못한다. 시설팀 연락 같은 행동을 설명할 수 없다		safe-trustworthy
"사후 로그만 남기고 실행 중엔 안 보여 준다"	감사 기록은 있기 때문이다	공식 설계는 실시간 할 일 목록과 언제든 끼어들기다	업계 일반 (공식 '실시간' 과 대조)	safe-trustworthy
"DEBUG 로그를 전부 켜면 투명하다"	운영 습관이다	양이 많으면 묻힌다. 원문 기록은 기본 off 이고, 저장에 승인이 필요하다		safe-trustworthy · ■ 텔레메트리 기록 범위
"더 큰 모델로 바꾸면 엉뚱한 행동이 없어진다"	모델 탓처럼 보인다	문제는 과정이 안 보이는 것이다. 공식 처방은 투명성 설계다	업계 일반	—
"에이전트가 이유를 설명하니 믿어도 된다"	설명이 논리적이다	사람이 데이터·출처를 확인해야 한다. 주장마다 인용을 단다		safe-trustworthy · reduce-hallucinations

참고

함께 보기

■ 텔레메트리 기록 범위

더 깊이 : 출처 · 상태 · 미해결 (참고)

출처

상태

업계 일반 1줄(사후 로그만)
⑤ 는 다른 카드로

미해결

목록(5.5③)은 "모델 버전·요청 메타데이터는 남기되 규제 환경에선 원문 전체 보관을 피한다" 고 적었다. 이 내용은 이 카드의 원문(safe-trustworthy-agents)에 없다. 원문 기록 기본 off 는 ■ 텔레메트리 기록 범위 쪽 근거다. "모델 버전을 남긴다" 문장은 이번에 찾은 원문 파일에 없어 카드에 넣지 않았다.
목록의 "주장은 인용으로 출처에 잇고" 는 safe-trustworthy 에는 없고 reduce-hallucinations 에 있다. 그래서 출처를 그쪽으로 고쳐 확인했다.
"적당한 양" 의 기준은 없다. 공식도 "중간을 잡지만 더 다듬어야" 라고만 한다. 숫자나 규칙은 없다.
safe-trustworthy-agents 글에는 한국어판이 없다. 그래서 영어 원문만 봤다.
목록 영어 신호 2개는 원문에서 모두 찾았다 (safe-trustworthy).