"AI 기술, 머지않아 초인적 체계…통제 불능 빠질 수도"
AI부동산경제신문 | 과학
[서울=이진형 기자] 미국 인공지능(AI) 업계에서 첨단 AI 개발 속도와 안전성 확보를 둘러싼 논쟁이 다시 거세지고 있다. 앤트로픽의 연구원이 AI가 인간의 통제를 벗어날 가능성을 경고하며 회사를 떠난 가운데, 오픈AI는 AI 정렬 분야의 전문가를 이사회에 합류시키며 안전·보안 감독 체계를 강화했다.
AI 기술이 빠르게 고도화되면서 단순히 현재 AI 모델의 성능과 활용 가능성을 넘어, 향후 스스로 성능을 개선하는 이른바 ‘자기개선 AI’가 등장할 경우 이를 인간이 계속 통제할 수 있느냐가 주요 논점으로 부상하고 있다.
앤트로픽 연구원, AI 개발 경쟁에 공개 경고
앤트로픽에서 AI 모델 사전학습(pretraining) 연구를 수행했던 제이컵 콕슨은 최근 회사를 떠난 사실을 공개하며 AI 개발 경쟁에 대한 우려를 제기했다.
콕슨은 과거 오픈AI에서도 근무했으며 올해 초 AI 안전에 대한 관심을 이유로 앤트로픽에 합류한 것으로 알려졌다. 그러나 두 기업을 모두 경험한 뒤에도 개별 기업의 노력만으로 AI의 잠재적 위험을 충분히 관리하기 어렵다고 판단했다는 취지의 입장을 내놨다.
그가 특히 문제로 지목한 것은 인간의 직접적인 개입 없이 스스로 능력을 향상시킬 수 있는 AI 시스템이다. AI가 인간보다 빠르게 새로운 기술을 습득하고 사이버 공간에서 활동하거나 현실 세계의 자원과 영향력을 확보하는 수준으로 발전할 경우 기존의 안전장치만으로 통제가 가능할지 불확실하다는 주장이다.
콕슨은 AI 개발에 참여하는 일부 연구자와 관계자들이 향후 10년 안에 AI가 인류에 치명적인 결과를 초래할 가능성을 심각하게 우려하고 있다고 주장했다. 다만 이는 과학적으로 확정된 예측이 아니라 해당 연구자들이 평가하는 잠재적 위험에 대한 견해다.
앤트로픽 내부에서도 ‘초지능’ 위험성 제기
콕슨의 문제 제기는 외부의 일방적인 비판에 그치지 않았다. 앤트로픽의 정렬 과학 분야를 이끄는 에번 휴빙거는 콕슨의 우려에 동의하면서 AI가 인류 전체에 극단적인 피해를 줄 가능성을 실제 위험으로 보고 있다고 밝혔다.
휴빙거는 개인적인 평가를 전제로 향후 10년 내 인류 멸종과 같은 결과가 발생할 가능성이 10%를 넘는다고 보고 있다고 언급했다. 동시에 현재 AI 모델 자체의 위험 수준과 향후 자기개선 능력을 갖춘 고도화된 시스템의 위험은 구분해야 한다는 취지의 설명도 내놨다.
또 다른 앤트로픽 연구 책임자인 새뮤얼 마크스 역시 AI 개발자들이 기술의 극단적인 위험성을 인식하면서도 기업 간 경쟁과 상업적 유인 때문에 개발을 이어가는 상황을 지적했다.
이는 AI 안전 연구자들이 기술 개발 자체를 반대한다기보다, AI 능력이 일정 수준을 넘어설 경우 안전성을 확보할 수 있는 기술적·제도적 장치가 개발 속도를 따라가지 못할 수 있다는 문제의식으로 풀이된다.
‘AI 정렬’ 문제 다시 부각
이번 논란의 핵심에는 ‘AI 정렬(Alignment)’ 문제가 자리 잡고 있다.
AI 정렬은 AI 시스템이 인간이 의도한 목표와 가치에 부합하도록 행동하게 만드는 문제를 뜻한다. AI의 능력이 커질수록 사용자의 지시를 정확히 수행하는 것뿐 아니라 예상하지 못한 상황에서도 인간에게 해가 되는 방식으로 목표를 추구하지 않도록 통제하는 것이 중요해진다.
특히 AI가 스스로 다음 세대 AI 시스템의 개발이나 학습 과정에 관여할 정도로 고도화될 경우 능력 향상이 예상보다 빠르게 진행될 수 있다는 우려가 제기된다.
콕슨은 이러한 가능성에 대비해 개별 기업 차원의 대응을 넘어 정부와 AI 기업들이 공동으로 개발 속도와 안전 기준을 논의해야 한다고 주장했다. 최근 AI 업계에서는 프런티어 AI의 위험을 관리하기 위한 국제적인 협력과 안전 기준 마련을 요구하는 목소리도 이어지고 있다.
오픈AI, 안전 전문가 이사회 영입
앤트로픽에서 연구원이 위험성을 이유로 퇴사한 시점과 맞물려 오픈AI에서는 AI 안전 분야 전문가의 이사회 합류가 발표됐다.
오픈AI는 9일(현지시간) AI 정렬 연구자인 폴 크리스티아노를 오픈AI 재단 이사회에 선임했다고 밝혔다. 크리스티아노는 재단 이사회 산하 안전·보안위원회(Safety and Security Committee)에도 참여하며, 오픈AI 그룹 PBC 이사회에는 의결권이 없는 참관인 자격으로 참여한다.
크리스티아노는 2017년부터 2021년까지 오픈AI에서 정렬 연구를 이끌었으며, 이후 정렬연구센터(Alignment Research Center)를 설립했다. 미국 국립표준기술연구소(NIST) 산하 AI표준혁신센터(CAISI)에서도 프런티어 AI 모델의 능력과 안전·보안 위험을 평가하는 업무에 참여해 왔다.
오픈AI는 이번 인사를 통해 첨단 AI 시스템의 안전성과 보안에 대한 감독 역량을 강화한다는 방침이다.
크리스티아노 역시 최근 AI 능력의 발전 속도가 매우 빠른 반면 정렬 문제는 여전히 해결하기 어려운 기술적 과제로 남아 있다는 취지의 입장을 밝혔다.
개발 경쟁과 안전 확보 사이 균형이 과제
이번 사례는 AI 산업이 직면한 딜레마를 보여준다. 미국을 중심으로 오픈AI와 앤트로픽을 비롯한 주요 AI 기업들이 더 강력한 모델 개발에 경쟁적으로 나서는 가운데, 기술의 발전 속도에 맞춰 안전성을 확보할 수 있는지에 대한 논쟁도 커지고 있다.
AI 업계에서 제기되는 ‘인류 멸종’ 가능성은 현재 기술 수준에서 확인된 사실이라기보다 고도화된 AI가 인간의 통제를 벗어날 경우 발생할 수 있는 극단적인 시나리오에 대한 위험 평가다. 따라서 이를 둘러싼 논쟁 역시 기술 개발을 전면 중단할 것인지, 안전 기준을 강화하면서 개발을 이어갈 것인지에 초점이 맞춰지고 있다.
특히 자기개선 AI와 초지능 개발이 현실화될 가능성이 커질수록 기업 내부의 안전 연구뿐 아니라 정부 규제, 국제적 기준, 독립적인 감독 체계 등을 어떻게 마련할 것인지가 중요한 과제로 떠오를 전망이다.
결국 AI 산업의 향후 경쟁력은 단순히 더 강력한 모델을 먼저 개발하는 데 그치지 않고, 고도화된 AI를 인간의 통제 아래 안전하게 활용할 수 있는 체계를 함께 구축할 수 있느냐에 달려 있다는 분석이 나온다.
AI부동산경제신문 | 편집부
이진형 기자
Copyright © 2026 AI부동산경제신문. All Rights Reserved.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
