■ 편향 측정

재는 법 : 아래 순서로 차별 점수를 잰다 [5.5②]

• 결정 질문을 "yes = 당사자에게 좋은 결과" 로 맞춘 템플릿을 만든다
• 나이·성별·인종 자리만 바꿔 채운다
• 집단별 "yes" 확률을 기준 집단(연구는 60세 백인 남성)과 비교한다. 그 차이가 차별 점수다

0 이면 차별이 없다. 음수는 부정 차별, 양수는 긍정 차별이다

기준 p(yes) 0.5 일 때 점수 +1.0 은 p(yes) 약 0.73 이다 (점수를 확률로 풀어 읽는 연구의 해석 예)

명시형 vs 암시형 : 인구통계를 글로 쓰면 차이가 가장 크게 드러난다. 이름으로만 넣으면 차이는 작아졌지만 여전히 있다. 그래서 인구통계 칸을 지워도 이름 같은 대리 정보로 새어 들어간다 [5.5②]

대리 변수는 이름만이 아니다. 차별은 인구통계 변수로 직접 생기거나, 우편번호·과외 활동 같은 대리 변수(proxies)로 간접 생긴다 (evaluating-discrimination-paper)

그래서 인구통계 칸을 빼고 입력 하나만 바꿨는데 특정 집단 결과가 달라지면, 그 입력이 대리 변수 후보다 (추론)

문체도 차이 크기를 흔든다. 감정 섞인 문장은 차이가 더 크고, 딱딱한 목록은 더 작다(방향은 같다)

전체 정확도만으로는 모자란다. 집단별로 나눠 봐야 한다 업계 일반 원문은 "성공 기준은 여러 차원"까지. 공정성을 그 한 차원으로 두는 건 원문을 넓혀 쓴 것

줄이는 법 : 프롬프트 끝에 두 문장을 붙이면 효과가 크다. "보호 속성을 고려하는 건 불법" 과 "인구통계는 무시하고 가려진 것처럼 결정" 이다. 결정 전에 편향을 피하는 법을 소리 내 생각하게 하는 것도 차이를 줄인다

좋은 개입은 차별은 줄이고 결정은 거의 그대로 둔다. '보호 속성 고려는 불법' 이라 알리는 문장과 무시 지시는 점수 약 0.15, 원래 결정과 상관 약 92% 였다

줄였다는 증거는 차별 점수와 원래 결정과의 상관 둘 다다. 모두 같은 답을 내면 점수는 0 이지만 쓸모가 없다. 그래서 차이만 보지 말고 원래 결정과의 상관도 같이 본다 [5.5②]

금지 결정 경로 : 아래 결정은 AUP 가 금지한다. 그래서 만들지 않는다 (2026-09-28 조회) [5.5②]

• 보호 속성(인종·민족·종교·출신국·성별·성적 지향 등)을 근거로 한 차별 조장
• 생체정보로 인종·정치 성향 등을 분류하기
• 동의 없는 얼굴 인식·위치 추적
• 가석방·형량 결정
• 동의·고지 없는 사회적 신용 점수

고위험 결정 : Anthropic 은 연구한 고위험 용도의 자동 결정을 지지·허용하지 않는다. 평가를 잘 통과한 것만으로는 고위험 용도에 쓸 근거가 안 된다. 사람을 자문 역할로만 두어서는 충분한 안전장치가 아니다(자동화 편향) [5.5②] [5.3②]

대출·채용·주거는 고위험이다. 그래서 전문가 검토와 AI 고지가 필요하다. 자세한 것은 ■ AUP 고위험 용도 에 있다 (2026-09-28 조회)