AI가 지원자 100명을 평가했다.
사람이 마지막에 결과를 확인했다.
그러면 최종 판단은 인간이 한 것일까.
꼭 그렇지는 않다.
AI가 이미 순위를 매기고, 위험표시를 붙이고, 이유까지 그럴듯하게 작성했다면 인간은 처음부터 사건을 판단하는 사람이 아니라 AI의 판단을 승인하는 사람이 되기 쉽다.
마지막 클릭이 인간에게 있었다는 사실만으로 인간의 판단권이 보장되는 것은 아니다.
이 문제가 ‘human-in-the-loop’ 논의의 핵심으로 떠오르고 있다.
EU AI Act 제14조는 고위험 AI를 감독하는 사람이 시스템의 능력과 한계를 이해하고, 자동화된 결과에 과도하게 의존할 가능성을 인식하며, 결과를 해석하고, 필요할 경우 무시하거나 뒤집거나 시스템 작동을 중단할 수 있어야 한다고 규정한다. 단순히 화면 앞에 사람이 앉아 있다는 요구가 아니다.
한국 인공지능기본법도 고영향 AI 사업자에게 위험관리, 설명 방안, 이용자 보호와 함께 ‘사람의 관리·감독’을 요구한다. 보건의료 역시 고영향 AI 영역에 포함된다.
그러나 법에 ‘인간 감독’이라는 네 글자를 넣는 것과 실제 조직에서 사람이 판단할 수 있게 만드는 것은 다른 일이다.
2026년 AI and Ethics에 발표된 연구는 인간 감독이 AI를 이해하지 못한 채 승인하는 ‘rubber stamp’로 축소될 위험을 지적했다. 같은 해 Lancet의 논평 역시 의료 AI에서 human-in-the-loop가 실질적 보호라기보다 상징적 안심 장치가 될 가능성을 비판했다. 의사는 시간압박 속에서 알고리즘의 근거를 충분히 검토하기 어려울 수 있기 때문이다.
기업 현장에서는 훨씬 단순한 상황으로 나타난다.
AI가 신입사원 지원자에게 82점을 줬다.
담당자는 하루에 수백 건을 검토해야 한다.
AI에는 수천 개의 데이터가 들어갔고 결과 옆에는 “커뮤니케이션 역량 부족 가능성”이라는 설명까지 붙어 있다.
사람이 정말 독립적으로 다시 판단할 가능성은 얼마나 될까.
감독을 맡은 사람이 결과를 바꿨다가 문제가 생길 경우 설명 책임까지 져야 한다면 상황은 더 어려워진다.
그래서 meaningful human oversight에는 최소한 세 가지가 필요하다.
AI의 판단을 이해할 수 있어야 하고, 실제로 반박할 수 있어야 하며, 반박했을 때 불이익 없이 결정을 변경할 권한이 있어야 한다.
여기에 한 가지를 더 붙여야 한다.
당사자의 목소리다.
AI와 관리자 사이에서만 이루어지는 인간 감독은 평가받는 사람을 여전히 밖에 남겨둘 수 있다.
“나는 그런 사람이 아니다.”
“이 데이터에는 사정이 있다.”
“그 판단에 사용된 정보가 틀렸다.”
이 말이 시스템 안으로 다시 들어갈 수 있어야 한다.
AI 시대에 인간을 루프 안에 둔다는 것은 인간 한 명을 마지막 단계에 배치하는 것이 아니다.
판단을 받고 있는 사람까지 다시 말할 수 있게 만드는 구조여야 한다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
