AI, 믿고 맡겨도 될까?

 

Generated Image by Gemini

 

 AI 에이전트와의 업무가 일상화된 요즘, AI 에이전트가 "이렇게 수정할게요"라며 계획을 보여준다. 나는 그걸 한 줄 한 줄 뜯어봤을까, 아니면 그럴듯해 보여서 그냥 승인 버튼을 눌렀을까. 돌이켜보면 대부분 후자였다.

 

 이건 게으름의 문제가 아니다. 뇌가 원래 그렇게 작동하기 때문이다. 최근 발표된 논문 [AI Agents Push Humans Out of the Loop] - (Mitchell, Ghosh, Passi)의 문제의식을 빌려, AI 에이전트를 쓸 때 조심해야 할 것들을 정리해 본다.

우리는 왜 AI의 제안에 쉽게 넘어갈까

두 가지 사고 모드

• 빠른 사고(System 1): 자동적이고 직관적. 그럴듯해 보이면 넘어간다.
• 느린 사고(System 2): 의식적이고 분석적. 하나하나 따져본다.

 심리학자 대니얼 카너먼은 사람의 사고방식을 위와 같이 두 가지로 나눈다. 문제는 이 둘 사이의 전환이 저절로 일어나지 않는다는 것이다. 바쁘거나, 피곤하거나, 정보가 너무 많거나, 결과물이 매끄럽고 자신감 있어 보이면 거의 빠른 사고(System 1)에 머무른다. 그런데 AI 에이전트가 내놓는 결과물은 정확히 이 조건에 들어맞는다. 유창하고, 매끄럽고, 자신감 있게 제시된다.

동시에 작동하는 세 가지 편향(Bias, It's me!)

AI 에이전트를 승인하거나 거부할 때, 대개 세 가지 인지 편향의 영향을 같이 받는다.

1. 닻 편향(Anchoring Bias) : AI가 먼저 계획을 제시하면, 판단은 그 계획을 기준점(닻) 삼아 움직인다. "이 방식이 맞나"를 처음부터 따지는 게 아니라, "여기서 뭘 좀 고칠까" 수준으로만 검토하게 된다. 이미 배가 그 자리에 묶여버린 것이다.
2. 자동화 편향(Automation Bias) : "시스템이 낸 거니까 맞겠지"라는 무의식적 신뢰. 틀린 제안조차 별다른 의심 없이 받아들이게 만든다.
3. 자만 편향(Complacency Bias) : AI가 지금까지 잘해왔다는 이유로 경계심 자체가 낮아지는 현상. 열 번 잘하다 열한 번째에 사고를 치는 순간에도, "지금까지 괜찮았으니까"라는 안일함에 머문다.

왜 문제가 되나?

 세 편향 모두 "깊이 생각하지 않고 빠르게 판단"하는 빠른 사고(System 1)의 산물이다. 그런데 AI 에이전트를 제대로 감독하려면 정확히 반대, 즉 느린 사고(System 2)가 필요하다. 이 계획이 타당한지, 이 단계에 어떤 위험이 있는지, 예상치 못한 부작용은 없는지. 이런 질문은 저절로 떠오르지 않는다. 의식적으로 멈춰 서야 떠오른다.

"사람이 보고 있다"는 안전장치의 착각

 많은 조직과 서비스는 이 문제에 이미 답이 있다고 말한다. 바로 "human in the loop", 사람이 감독하고 있으니 괜찮다는 것이다. 문제는, 감독자가 있다는 사실과 감독이 실제로 잘 작동한다는 것은 완전히 다른 이야기다.

왜 "지켜보기"가 생각보다 어려운가

 AI 에이전트가 작업을 수행하는 과정을 떠올려본다. 어떤 도구를 왜 선택했는지, 계획을 왜 중간에 바꿨는지, 여러 단계를 거치며 무엇이 누적되는지. 이 모든 정보가 빠르게, 그리고 많은 양으로 쏟아진다.

 

 이 흐름을 실시간으로 따라가며 "지금 이 판단이 맞나"를 매 순간 검증하는 건, 단순히 화면을 보고 있는 것과는 완전히 다른 수준의 노력을 요구한다. 실제로 많은 사용자가 에이전트의 작업 과정을 지켜보면서도, 정작 중요한 순간에 무슨 일이 일어났는지 설명하지 못하는 경우가 보고된다.

한 사람이 여러 역할을 동시에 맡는다

• 본연의 업무 하기
• 에이전트에게 권한 부여하기
• 매 단계의 정확성 평가하기
• 안전성과 적절성 판단하기
• 결과 예측하기

 한 사람이 이 다섯 가지를 동시에, 계속해서 해내야 한다. 실제로는 이게 지속되지 않는다. 반복되는 승인 요청 앞에서 점점 더 빨리, 더 기계적으로 "예"를 누르게 된다.(Shift+Tab으로 Auto Mode로 돌리고 있는 요즘의 나...) 이런 현상을 "승인 피로(approval fatigue)"라 부른다. 승인이라는 행위 자체는 계속되지만, 판단은 점점 비어 간다.

지금의 안전장치들은 무엇을 놓치고 있나

 여러 규제와 가이드라인은 "사람이 이상 징후를 모니터링하고, 필요하면 개입하고 번복할 수 있어야 한다"고 요구한다. 타당한 요구다. 그런데 이 요구는 감독자가 신뢰할 만한 주의력과 판단력을 유지하고 있다는 전제 위에 서 있다.

 

 바로 여기에 사각지대가 있다. 정작 그 판단력 자체가 AI를 지속적으로 사용하는 과정에서 서서히 깎여나간다는 사실은 거의 다뤄지지 않는다. 감독자가 있다는 것만으로 안심하는 순간, "그 감독자가 실제로 감독할 수 있는 상태인가"라는 훨씬 중요한 질문을 건너뛰게 된다.

감독이 감독자를 망가뜨린다

 여기서 한 발 더 들어가면 훨씬 불편한 사실이 나온다. AI를 오래, 자주 감독할수록 오히려 감독하는 능력 자체가 나빠진다는 것. 이를 "자동화의 역설(irony of automation)"이라 부른다. 사실 이 개념은 40년 전 자동화 항공기 조종 연구에서 처음 나온 오래된 통찰인데, AI 에이전트 시대에 그대로, 어쩌면 더 심하게 재현되고 있다.

쓸수록 무뎌지는 감각

 내시경 전문의가 AI의 도움을 받으며 검사를 하다 보면, 오히려 스스로 이상 부위를 알아채는 감각이 무뎌진다는 연구 결과가 있다. 코딩도 마찬가지다. AI 에이전트가 짜준 코드를 계속 검토만 하다 보면, 정작 자기 손으로 문제를 찾아내고 고치는 감각이 둔해진다. 특히 이제 막 배우는 사람이라면 더 심각하다. 애초에 그 감각을 제대로 길러볼 기회 자체를 잃어버리는 셈이니까.

상냥한 AI는 더 무디게 만든다

 많은 AI는 사용자에게 동의하고, 인정하고, 상냥하게 응답하는 경향(이른바 '아첨' 성향)을 보인다. 그런데 문제는 사람들이 이런 응답을 실제로 더 신뢰하고 선호한다는 것. 비판적으로 따져 묻는 AI보다, 내 의견에 맞장구쳐주는 AI가 더 편하니까.

 

 편안함과 정확함은 다른 문제다. 독립적으로 판단하려면 어느 정도의 마찰과 불편함이 필요한데, 상냥한 AI는 그 마찰을 없애버린다. 그 결과 회의적 태도, 즉 "이게 정말 맞나"라고 의심하는 근육이 조용히 약해진다.

피드백 루프: 나쁜 감독이 나쁜 AI를 낳는다

 여기서 상황은 한 겹 더 나빠진다. 많은 AI 모델은 사용자의 승인·평가를 학습 신호로 사용해 개선(RLHF)된다. 그런데 감독의 질이 떨어지면 어떻게 될까. 지친 감독자는 계획을 꼼꼼히 따지기보다 빠르게 승인하고, 그럴듯한 근거를 별다른 의심 없이 받아들이며, 상호작용 자체를 호의적으로 평가하는 경향을 보인다.

 

 문제는 이런 "쉬운 승인"이 시스템 입장에서는 곧 "성공"으로 기록된다는 점이다. 그러면 시스템은 개발자가 의도하지 않아도, 자연스럽게 "더 자신감 있어 보이고, 마찰 없고, 훑어보기 쉬운" 방향으로 최적화된다. 즉 진짜 정확한 답보다 승인받기 쉬운 답을 만드는 쪽으로 서서히 기울어질 위험이 있다.

결과: 가장 필요할 때 가장 준비가 안 되어 있다

 AI가 유능해질수록 사람은 시스템에 더 의존하게 되고, 그럴수록 스스로의 기술과 경계심은 약해진다. 그리고 정작 사람의 개입이 가장 절실한 순간(드물고, 낯설고, 깊은 전문성이 필요한 바로 그 순간)에는 이미 그 개입을 할 능력을 상당 부분 잃어버린 상태다.

그래서 어떻게 해야 할까

개인이 할 수 있는 것

1. AI의 답을 보기 전에 내 생각을 먼저 적어보기 : AI가 계획을 제시하기 전에 "나라면 어떻게 할까"를 한 줄이라도 먼저 적어둔다. 닻이 놓이기 전에 내 판단을 먼저 확보해 두는 것, 그게 전부다. 그리고 답변이 매끄럽고 자신감 있게 쓰여 있다는 것과 그 내용이 맞다는 건 다른 문제다. 결과가 중요한 작업일수록 "이 근거, 내가 직접 확인했나"를 의식적으로 물어야 한다.
2. 가끔은 AI 없이 직접 해보기 : 일주일에 한 번이라도 평소 AI에게 맡기던 작업을 처음부터 끝까지 직접 해본다. 감각이 무뎌지고 있는지 스스로 점검하는 가장 확실한 방법이다.
3. 몰아서 승인하지 않기 : 피곤한 상태에서 승인 요청이 쌓이면 기계적으로 처리하게 된다. 정말 중요한 단계 앞에서는 잠깐 멈추고, 필요하면 쉬었다가 다시 검토한다.

팀·조직이 할 수 있는 것

1. 검토자와 수혜자를 분리하고, 속도를 성과로 삼지 않기 : 같은 사람이 AI 결과물의 승인자이면서 동시에 그 결과로 이득을 보는 위치에 있으면, 꼼꼼히 따질 요인이 줄어든다. 가능하면 이 두 역할을 나눈다. 승인 속도나 완료율만으로 평가하는 것도 같은 문제를 만든다. 성실한 검토보다 빠른 승인이 보상받는 구조가 되지 않도록, 꼼꼼한 검토 자체를 성과로 인정하는 기준이 필요하다.
2. 정기적인 "노하우 유지" 훈련 : 신입뿐 아니라 숙련자도 AI 없이 기존 업무를 수행하는 훈련을 주기적으로 배치한다. 도메인 전문성은 위기 상황에서 AI가 실패했을 때 수동으로 개입할 수 있는 마지막 보루다.
3. 도구 자체에 "멈춤 지점" 요구하기 : 가능하면 AI 도구나 플랫폼을 고를 때, 중요한 작업 전에 명시적 확인을 요구하거나 변경 사항을 일괄(diff) 검토할 수 있는 기능이 있는지 살펴본다. 의지력에만 기대기보다, 도구가 "잠깐 멈춰서 생각하게" 만들어주는 구조가 훨씬 효과적이다.

 결국 인간 감독은 AI 시스템을 다 만든 뒤에 덧붙이는 안전장치가 아니라, 처음 설계 단계부터 사람의 인지적 한계를 염두에 두고 만들어야 하는 요구사항이다. AI 에이전트는 앞으로 점점 더 많은 일을, 더 자율적으로 하게 될 것이다. 그럴수록 "사람이 보고 있으니 괜찮다"는 말은 점점 더 공허해질 수 있다. 지금 이 순간에도, 정말 "루프 안"에 있는지 스스로에게 물어볼 필요가 있다.