# AI 챗봇의 거짓말: PM이 마주한 확률론적 소프트웨어의 생존법

Yozm IT요즘 사람들의 IT 매거진, 요즘IT

---

- 김영욱

![Image](https://upload.cafenono.com/image/slashpagePost/20260529/142529_NnLMBR9kS81HB3flU9?q=80&s=1280x180&t=outside&f=webp)

[광고]

![Image](https://upload.cafenono.com/image/slashpagePost/20260601/142404_39CLIN8WNTLBlLlFgY?q=80&s=1280x180&t=outside&f=webp)

## AI는 왜 자꾸 틀리는가

---

#AI프로덕트  #확률론적시스템  #환각현상  #신뢰설계

## 🫑 3줄 요약

- 에어캐나다의 AI 챗봇이 유저에게 잘못된 환불 규정을 안내하여 소송이 발생했고, 캐나다 재판소는 챗봇의 답변도 회사의 책임이라며 환불금을 지급하라는 판결을 내렸습니다.

- 같은 입력에 같은 출력을 보장하던 기존의 결정론적 소프트웨어 공식과 달리, AI 프로덕트는 다음에 올 단어를 확률적으로 예측하여 매번 다른 답을 생성하는 확률론적 시스템입니다.

- AI 프로덕트는 고정된 정답이 없어 테스트가 까다롭고, 환각 현상으로 인해 실패가 그럴듯하게 숨어들며, 토큰 사용량에 따라 인프라 비용이 비선형적으로 폭증하는 3가지 고유 문제를 안고 있습니다. 따라서 PM은 정확도 100%라는 허상의 KPI를 버리고, 오답의 리스크를 방어하는 신뢰 설계 UX를 구축해야 하며, 출시 후에도 살아 움직이는 질문의 분포를 지속해서 추적해야 합니다.

## 🥦 인사이트

- 버그 제로의 강박을 버리고 오차 분포와 동거하기

지난 수십 년간 기획자들은 에러 코드가 없고 기댓값이 완벽히 일치하는 상태를 정답으로 여겼어요. 하지만 확률 시스템에서는 환각을 완벽히 없애는 것이 불가능하므로, 실패를 원천 차단하려 애쓰기보다 오류가 발생했을 때 사용자에게 미칠 타격과 비용을 도메인별로 통제하는 아키텍처 설계가 핵심 역량이 됩니다.

- 자신만만한 거짓말을 걸러내는 신뢰 설계의 미학

시스템이 멈추거나 에러 창이 뜨는 명확한 실패와 달리, AI의 실패는 매끄러운 문장 뒤에 조용히 숨어 도래해요. 에어캐나다 소송 사례가 증명하듯 챗봇의 오답은 곧 기업의 법적 책임으로 직결되기에, 답변의 출처(Sources)를 명시하고 확신도를 노출하며 인간 담당자에게 즉시 연결하는 에스컬레이션 경로를 UX에 반드시 확보해야 합니다.

- 기능 중심 로드맵에서 결과 중심 운영으로의 패러다임 전환

코드를 수정하지 않으면 결과가 유지되던 과거와 달리, AI 프로덕트는 거대 모델의 자체 업데이트와 유저의 창의적인(혹은 악의적인) 프롬프트 변형에 의해 품질과 비용이 실시간으로 요동쳐요. PM은 제품 배포를 끝이 아닌 시작으로 인식하고, 예상을 뛰어넘는 롱테일 질문 레이어를 매일 관찰하는 살아 있는 운영 근육을 길러야 하죠.

##  🥄 실행 한 스푼

- 지금 운영 중이거나 기획 중인 AI 기능의 안내 문구를 점검해 보세요. 유저가 답변을 과신해 에어캐나다 사건 같은 리스크를 겪지 않도록, 시스템의 한계를 투명하게 밝히는 UI 장치나 진짜 규정 페이지로 향하는 확인 링크를 오늘 당장 답변 하단에 배치해 보는 건 어떨까요?

## ——  원문 보기  ——

**PM이 알아야 할 확률 시스템의 사고법**

2022년 11월, 캐나다 밴쿠버에 살던 제이크 모팻(Jake Moffatt)은 갑작스러운 할머니의 부고를 접합니다. 

그는 급히 토론토로 가는 항공편을 예약하려고 에어캐나다 웹사이트에 접속해 챗봇에게 물었습니다. 

"가족의 사별로 인한 항공권 할인이 있나요?" 챗봇은 친절하게 답했습니다. 

"즉시 여행이 필요하면 정상 요금으로 항공권을 먼저 구매한 다음, 발권일로부터 90일 이내에 사별 할인(death certificate)을 소급 신청할 수 있습니다."

할머니의 장례식까지는 시간이 촉박했고, 챗봇의 답변은 명확했습니다. 그는 정가로 토론토 왕복 항공권을 구매했고, 돌아온 뒤 챗봇이 알려준 대로 환불 신청서를 보냈습니다.

![Image](https://upload.cafenono.com/image/slashpagePost/20251225/030133_ibXSI8stDdo63pdEYt?q=80&s=1280x180&t=outside&f=webp)

이 아티클을 끝까지 읽고 싶다면? 클릭! 

아래의 링크 블록을 클릭(터치)해주세요. 

아티클이 작성된 플랫폼으로 이동합니다.

(* 플랫폼에 따라 별도 가입이 필요할 수 있어요.)

[아티클 보러가기](https://yozm.wishket.com/magazine/detail/3775/)

---

For the site tree, see the [root Markdown](https://pitchmound.kr/.md).