지난달 20일 국회에서 열린 「AI국가시대 핵심-예측행정 알고리즘의 책임과 제도설계」 토론회에 참석했다.
현장에서는 예측과 처분의 분리, 사전 영향평가, 인간 재검토, 현장 공무원의 수정·거부 권한, 이의제기와 재심까지 상당히 구체적인 통제장치가 논의됐다. 중요한 진전이다.
AI 행정의 문제를 “얼마나 정확하게 맞히는가”에서 “누가 책임지고, 어떻게 수정하며, 잘못됐을 때 되돌릴 수 있는가”로 옮겼기 때문이다.
그러나 정신건강·복지·상담 영역의 AI를 생각하면 권리가 작동해야 할 시점은 한 단계 더 앞선다.
대화형 AI는 최종 결정을 내리지 않아도 이미 사람의 말에서 의도, 긴급성, 감정, 취약성, 위험상태를 추론할 수 있다. 그 중간추론은 다음 질문을 바꾸고, 상담의 우선순위를 바꾸고, 서비스 추천을 바꾸며, 담당자가 한 사람을 처음 바라보는 틀까지 만들 수 있다.
법적 결정은 아직 내려지지 않았지만, 해석의 효과는 이미 시작된 것이다.
'AI가 내린 결정을 나중에 되돌릴 수 있는 것만으로는 충분하지 않다.
중요한 인간상태를 추론하는 바로 그 순간에도 사람이 개입할 수 있어야 한다.'
■ 공공 AI는 이미 ‘사람의 상태’를 읽기 시작했다
이 문제는 먼 미래의 가정이 아니다.
인천광역시는 올해 2월 민원전화 대응 AI를 운영하면서 통화와 민원 유형을 분류하고, 직전 통화 요약, 상담 키워드와 함께 민원인의 감정 분석 정보를 직원에게 제공한다고 밝혔다. 시스템의 목적은 상담의 연속성과 민원담당자의 안전한 업무를 돕는 데 있다.
이 사례 자체가 곧 부당하다는 뜻은 아니다.
오히려 중요한 사실은 공공 AI가 단순히 정보를 검색하고 문서를 요약하는 단계를 넘어, 사람의 상태를 해석하는 단계로 들어왔다는 점이다.
개인정보보호위원회도 지난 7월 공개한 「공공 AX 프라이버시 보호 안내서」에서 정보 연계·분석·추천 과정에서 발생할 수 있는 과도한 개인정보 추론의 위험을 지적하고, 선별·판단 AI의 편향성과 정확성, 권리침해 가능성을 점검하도록 했다.
한국의 제도가 추론 이전의 위험을 전혀 보지 않는 것은 아니다. 인공지능기본법 역시 고영향 AI의 사전 검토, 위험관리, 이용자 보호, 사람의 관리·감독과 영향평가를 규정하고 있다.
그런데 여기서 하나의 구분이 필요하다.
‘기관이 추론의 목적과 범위를 사전에 관리하는 것과, 실제로 ‘나에 대한 해석’이 생성되는 순간 그 대상인 내가 어떤 지위를 갖는 것은 같은 문제가 아니다.’
첫 번째는 시스템 거버넌스의 문제다.
두 번째는 인간의 지위에 관한 문제다.
AI가 사람을 해석하기 시작하는 시대에는 두 문제를 분리해서 보아야 한다.
■ 유럽은 감정 추론을 규율하지만, 모든 ‘마음의 해석’을 포괄하지는 않는다
유럽연합은 감정 추론의 일부를 보다 직접적인 규율 대상으로 두고 있다.
EU 인공지능법은 생체정보를 바탕으로 사람의 감정이나 의도를 식별·추론하는 AI를 emotion recognition system으로 별도 정의한다. 직장과 교육기관에서 이러한 AI를 사용하는 것은 의료 또는 안전 목적을 제외하고 금지되며, 관련 금지규정은 2025년 2월 2일부터 적용되고 있다.
금지되지 않은 emotion recognition system 역시 고위험 AI 범주에 포함될 수 있으며, 해당 시스템을 사용하는 조직에는 고지와 관리 의무가 부과된다. 이것은 중요한 규제 진전이다. 하지만 여기에도 경계가 있다.
EU AI Act의 emotion recognition system 정의는 생체정보를 전제로 한다. 따라서 텍스트 대화를 바탕으로 LLM이 사용자의 의도, 취약성, 우울 가능성, 관계상태 또는 위험을 추론하는 모든 경우가 이 정의에 자동으로 들어가는 것은 아니다.
물론 그러한 시스템도 용도와 맥락에 따라 개인정보보호법, 고위험 AI 규율 또는 분야별 법률의 적용을 받을 수 있다.
핵심은 “유럽은 앞섰고 한국은 뒤졌다”는 단순 비교가 아니다.
한국은 고영향 AI 영향평가와 공공 AX 프라이버시 통제를 발전시키고 있고, EU는 감정인식의 일부에 대해 금지·고위험 분류·고지의무까지 부과하고 있다.
그럼에도 아직 남는 질문이 있다.
‘중요한 인간상태에 대한 해석이 생성되는 바로 그 순간, 당사자는 그 해석 자체에 어떤 방식으로 개입할 수 있는가’
이 문제를 하나의 일반적인 권리구조로 완성했다고 보기는 어렵다.
바로 이 지점이 다음 제도설계의 공간이다.
■ 감정과 정신상태는 주소를 고치는 문제와 다르다
생년월일이나 주소가 잘못 기록됐다면 참값으로 교체하면 된다.
그러나 AI가 한 사람을 ‘불안 가능성 높음’, ‘격앙’, ‘위기 위험’, ‘낮은 참여의지’로 읽었을 때는 문제가 다르다.
이것은 사실값 하나의 오기가 아니다. 어떤 말과 행동을 어떤 맥락에서 어떻게 읽었는지, 다른 해석은 가능한지, 그 판단을 누가 어떤 목적으로 사용할 수 있는지의 문제다.
필자가 35만1,734건의 영어 관계서사를 분석한 PLOS ONE 연구에서는 서사의 구조와 언어적으로 추론된 정서가 하나의 축으로 환원되지 않는 체계적 불일치가 나타났다.
이 연구가 개인의 실제 내면을 직접 측정한 것은 아니다.
그러나 적어도 하나는 분명히 보여준다.
텍스트에서 추출된 하나의 신호를 인간의 내적 상태 그 자체와 동일시하는 데에는 신중함이 필요하다.
같은 문제를 기계 쪽에서 보면 또 다른 취약성이 드러난다.
지난달 21일 Nature의 Communications AI & Computing에 최종 출판된 필자의 연구는 규범적 충돌 아래에서 대규모언어모델의 해석 붕괴와 정보이론적 스케일링 관계를 실증적으로 분석했다. 이 연구가 정신건강 AI의 임상 안전성을 직접 검증한 것은 아니다.
다만 모델의 해석 능력을 평상시 평균 성능만으로 평가할 수 없으며, 서로 충돌하는 가치와 규범이 동시에 요구되는 조건에서는 별도의 해석적 강건성 평가가 필요하다는 점을 보여준다.
대화형 AI에서는 문제가 한 단계 더 복잡하다.
AI가 “당신은 지금 불안해 보입니다”라고 해석하고, 그 판단에 따라 다음 질문과 권고를 바꾼다고 생각해보자.
그 순간 해석은 더 이상 관찰에 머물지 않는다. 해석이 이후 상호작용의 조건이 된다.
최초의 해석이 다음 질문을 바꾸고, 바뀐 질문이 다시 다음 데이터를 만들어낸다.
그 과정이 반복되면 하나의 초기 추론은 단순한 라벨이 아니라 이후 데이터 생성의 원인이 된다.
그렇다면 나중에 그 라벨을 삭제한다고 해서 모든 것이 원상복구되지는 않는다.
이미 달라진 질문과 답변, 담당자의 인식, 서비스의 경로, 심지어 사용자의 자기이해까지 되돌리는 것은 훨씬 어렵다.
‘해석은 기록되기 전에 이미 행동할 수 있다.’
바로 이 점 때문에 사후 정정만으로는 충분하지 않다.
■ 정확도와 권한은 다른 질문이다
AI의 감정 추론 정확도가 높아지면 이런 문제도 결국 사라질 것이라는 반론이 있을 수 있다.
그러나 정확도와 권한은 서로 다른 문제이다.
정확도는 해석의 품질을 평가한다.
권한은 그 해석이 무엇을 움직일 수 있는지를 결정한다.
아무리 높은 정확도를 가진 시스템이라도 그 결과가 상담경로, 공식 기록, 복지서비스, 채용, 위험판단을 움직이는 순간에는 별도의 권한 문제가 발생한다.
‘정확도가 높다는 이유만으로 더 큰 해석 권한이 자동으로 정당화되는 것은 아니다.’
필자가 제안해 온 Affective Sovereignty, 즉 감정 주권 역시 “내 감정에 관한 내 말이 언제나 객관적 진실이다”라는 주장이 아니다.
그보다는 AI의 확률적 인간해석이 단지 모델의 출력이라는 이유만으로 당사자의 자기진술을 자동적으로 압도하지 않도록, 보류·확인·수정·거부와 감사 가능한 기록을 시스템 설계에 넣자는 사회기술적 원칙에 가깝다.
의료나 안전 상황에서는 전문가의 판단이나 외부 증거가 당사자의 설명보다 더 중요할 수도 있다. 그렇기 때문에 오히려 필요한 것은 “누가 언제나 옳은가”라는 절대규칙이 아니다.
서로 다른 해석이 충돌할 때 어떤 절차로 해석 권한을 배분할 것인가가 핵심이다.
이것이 Human-AI Governance가 다루어야 할 문제다.
AI Governance가 “AI 시스템을 어떻게 통제할 것인가”를 묻는다면, Human-AI Governance는 한 단계 더 들어간다.
‘AI가 인간을 해석하고 판단하기 시작했을 때, 그 해석을 누가 통제할 것인가.’
■ 권리의 시간축을 네 단계로 완성할 수 있다
이 문제를 해결하려면 권리를 사후구제의 한 시점에만 두어서는 안 된다.
권리에는 시간축이 필요하다.
첫째, 추론 전에는 AI가 왜 그 속성을 추론해야 하는지 목적과 필요성을 심사해야 한다.
정신상태, 감정, 취약성처럼 민감한 내적 속성은 서비스 목적에 반드시 필요한 것이 아니라면 아예 추론하지 않는 선택지가 있어야 한다. 할 수 있다는 사실과 해야 한다는 판단은 다르다.
둘째, 추론 순간에는 후속 상담이나 행정경로를 실질적으로 바꿀 수 있는 중요한 해석이 생성될 경우 당사자가 그 사실을 알 수 있어야 한다.
예를 들어 시스템이 다음과 같이 표시할 수 있다.
“현재 시스템은 이 상황을 ‘긴급한 복지지원 필요’로 이해하고 있습니다.”
그 아래에는 단순한 확인버튼 하나가 아니라 여러 선택지가 있어야 한다.
“맞습니다.”
“일부만 맞습니다.”
“다르게 해석해 주세요.”
“이 해석의 사용을 보류해 주세요.”
필자는 이러한 구조를 추론시점의 해석적 이의가능성, inference-time interpretive contestability라고 부른다.
중요한 것은 AI가 결론을 낸 뒤 인간에게 항의할 권리를 주는 데 그치지 않는 것이다.
AI가 인간에 대한 의미를 만들어내는 과정 자체에 사람이 들어올 수 있어야 한다.
셋째, 결정 단계에서는 인간이 AI의 추론과 별개로 자료를 검토하고, 시스템의 결론을 수정하거나 기각할 수 있는 정보와 시간, 책임권한을 가져야 한다.
사람이 마지막 승인 버튼을 누른다고 해서 자동으로 ‘인간감독’이 되는 것은 아니다.
실질적 인간감독이라면 최소한 멈출 권한, 근거를 요구할 권한, 독립적으로 검토할 시간, 그리고 수정·기각할 권한이 있어야 한다.
넷째, 결정 이후에는 이의제기, 재심, 정정과 구제가 작동해야 한다.
그리고 이 네 단계를 가로지르는 하나의 원칙이 더 필요하다.
바로 정정의 전파, correction propagation이다.
하나의 감정 또는 위험 추론이 수정됐다면 원문 라벨 하나를 고치는 것으로 끝나서는 안 된다.
그 추론에서 파생된 요약, 프로파일, 위험점수, 추천, 담당자 사전정보, 후속 AI가 사용하는 맥락까지 정정이 따라가야 한다.
잘못된 해석이 여러 시스템에 전파될 수 있다면, 정정 역시 같은 범위로 전파되어야 한다.
그렇지 않으면 인간에게는 ‘정정권’이 있어도 시스템에는 과거의 판단이 계속 살아남는다.
■ 거대한 새 규제보다 90일 실증이 먼저다
이런 제안을 곧바로 거대한 새 법률로 만들 필요는 없다. 오히려 먼저 작은 실증이 필요하다.
민원, 복지상담, 정신건강 지원 AI의 제한된 영역에서 90일 동안 ‘추론 확인·수정·보류’ 인터페이스를 붙여볼 수 있다.
측정할 항목도 명확하다.
추론 고지 후 수정률은 얼마나 되는가.
동일한 오해의 반복률은 줄어드는가.
정정은 후속 시스템에 얼마나 전파되는가.
이용자의 시간과 인지부담은 얼마나 늘어나는가.
서비스 이탈은 증가하는가.
공무원이나 상담자의 최종판단은 달라지는가.
처리시간은 늘어나는가.
그리고 반대로, 잘못된 추론을 초기에 바로잡았을 때 이후 행정부담과 오류비용이 얼마나 줄어드는가.
권리보호는 공짜가 아니다.
그러나 잘못된 해석 역시 공짜가 아니다.
문제는 두 비용을 실제 데이터로 비교하는 일이다.
이것이 규제 이전에 필요한 실증이다.
■ AI가 더 잘 읽을수록, 인간의 자리는 더 분명해야 한다
AI를 활용하면 국가는 시민의 필요를 더 빨리 발견할 수 있다. 상담과 복지서비스도 더 정교해질 수 있다. 정신건강 지원의 사각지대를 줄이는 데에도 AI는 중요한 역할을 할 수 있다.
그래서 이 문제는 AI를 막자는 논의가 아니다.
오히려 AI가 인간에게 더 가까이 들어올수록 그 기술의 권한구조를 더 정교하게 설계하자는 논의다.
더 빨리 발견하는 능력이 더 먼저 정의할 권한까지 뜻하지는 않는다.
더 높은 정확도가 더 큰 권력을 자동으로 정당화하지도 않는다.
앞으로 AI 윤리의 중요한 질문은 단순한 성능 경쟁에서 해석 권한의 배분으로 이동할 것이다.
AI가 사람의 마음을 읽을 수 있는가. 그 질문만으로는 부족하다.
누가 그 읽기에 권한을 부여하는가.
그 읽기가 나를 움직이기 시작했을 때 나는 그것을 알 수 있는가.
다른 설명을 제시할 수 있는가.
수정하거나 거부할 수 있는가.
그리고 그 정정은 이미 만들어진 다른 판단들까지 따라가는가.
보건의료신문 「AI정신건강/해석권」 섹션이 앞으로 다루려는 질문도 바로 여기에 있다.
'AI가 인간을 얼마나 정확하게 해석하는가도 중요하다.
그러나 더 근본적인 질문은 따로 있다.
그 해석에 누가 어떤 권한을 부여했는가.'
AI가 사람을 더 정확하게 읽게 되는 시대일수록, 인간에게 남겨야 할 마지막 자리는 더 작아지는 것이 아니라 더 분명해져야 한다.
저자 소개
광운대학교 경영대학원 · 보건의료신문 수석전문기자 겸 전문위원Founding Director & Principal Investigator, Ryan Research Institute (RRI), Paris]
Ryan Kim 교수는 광운대학교 경영대학원 AI경영컨설팅 전공 연구교수이며,
파리 Ryan Research Institute(RRI)의 Founding Director & Principal Investigator다.
보건의료신문 수석전문기자 겸 전문위원으로 활동하며 Affective Sovereignty, Interpretive Authority, Mental AI, Human-AI Governance와 AI 해석권을 연구한다.
관련 연구를 Nature의 Communications AI & Computing, PLOS ONE, Discover Artificial Intelligence, Computers in Human Behavior Reports, Machine Learning with Applications, Data in Brief 등에 발표했다.
저서로 『해석자들』이 있다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
