코로나19 이전에는 스스로를 기술 낙관론자라고 생각했습니다. 새로운 기술은 거의 항상 과장된 두려움 속에서 등장합니다. 철도는 정신 질환을 유발할 것이라는 주장이 있었고, 자전거는 여성을 불임이나 정신병에 걸리게 할 것이라는 우려가 있었으며, 초기 전기는 도덕적 타락부터 신체적 쇠약까지 모든 것의 원인으로 지목되었습니다. 시간이 흐르면서 이러한 불안감은 사라지고 사회는 적응했으며 생활 수준은 향상되었습니다. 인공지능 역시 이러한 패턴을 따를 것이라고 생각했습니다. 즉, 파괴적이고 때로는 오용되기도 하지만 궁극적으로는 관리 가능한 기술이라는 것입니다.
코로나19 팬데믹 기간은 그러한 신뢰를 흔들었는데, 이는 기술이 실패했기 때문이 아니라 제도가 실패했기 때문입니다.
전 세계 많은 정부와 전문가 단체들은 최악의 시나리오를 근거로 정당화되고 놀라울 정도로 확신에 찬 방식으로 시행된 전례 없는 사회적, 생의학적 개입으로 불확실성에 대응했습니다. 경쟁 가설들은 논의조차 되지 않고 무시되었습니다. 긴급 조치는 장기적인 정책으로 굳어졌습니다. 증거가 바뀌었을 때 오류를 인정하는 경우는 드물었고, 책임을 묻는 경우는 더욱 드물었습니다. 이러한 경험은 특정 정책 실수보다 더 심각한 문제를 드러냈습니다. 현대 제도들은 과도한 개입 없이 불확실성을 관리하는 데 제대로 준비되어 있지 않은 것처럼 보입니다.
그 교훈은 이제 인공지능에 대한 논쟁에서 중요한 의미를 지니게 되었습니다.
AI 위험 격차
크게 보면, 고도화된 인공지능에 대한 우려는 두 가지 부류로 나뉩니다. 엘리에저 유드코프스키와 네이트 소아레스 같은 사상가들이 속한 한 부류는, 충분히 고도화된 인공지능은 본질적으로 재앙적인 위험을 내포하고 있다고 주장합니다. 그들은 의도적으로 직설적인 표현을 사용하여 다음과 같이 말합니다. 누군가가 그것을 만들면 모두 죽는다문제는 나쁜 의도가 아니라 유인책입니다. 경쟁이 심하면 누군가는 편법을 쓰게 마련이고, 일단 시스템이 실질적인 통제에서 벗어나면 의도는 더 이상 중요하지 않게 됩니다.
스튜어트 러셀, 닉 보스트롬, 맥스 테그마크와 같은 인물들을 포함하는 두 번째 진영 역시 AI의 위험을 심각하게 받아들이지만, 협력, 신중한 관리, 그리고 점진적인 도입을 통해 시스템을 인간의 통제하에 둘 수 있다는 점에서 더 낙관적입니다.
양측은 의견 차이에도 불구하고 한 가지 결론에 도달합니다. 바로 무분별한 인공지능 개발은 위험하며, 어떤 형태의 감독, 조정 또는 규제가 필요하다는 것입니다. 다만 실현 가능성과 시급성에 대해서는 의견이 갈립니다. 그러나 이러한 규제를 담당해야 할 기관들이 과연 그 역할을 제대로 수행할 수 있을지에 대해서는 거의 논의되지 않습니다.
코로나19는 의심할 만한 이유를 제시합니다.
코로나19는 단순한 공중보건 위기가 아니었습니다. 그것은 불확실성 속에서 전문가 주도의 통치가 어떻게 이루어지는지를 보여주는 생생한 실험장이었습니다. 불완전한 데이터에 직면한 당국은 추측에 기반한 피해를 이유로 최대치의 개입을 반복적으로 선택했습니다. 반대 의견은 과학적 필요성이 아닌 도덕적 결함으로 취급되는 경우가 많았습니다. 정책은 투명한 비용-편익 분석이 아닌 권위에 대한 호소와 가상의 미래에 대한 두려움을 통해 옹호되었습니다.
이러한 패턴은 중요한 의미를 지니는데, 이는 이해관계가 실존적인 문제로 비춰질 때 현대 기관들이 어떻게 행동하는지를 보여주기 때문입니다. 동기는 결단력, 여론 통제, 그리고 도덕적 확신으로 옮겨갑니다. 오류를 바로잡는 것은 평판에 막대한 손실을 초래하는 일이 됩니다. 예방은 더 이상 도구가 아니라 하나의 원칙이 됩니다.
이 교훈은 전문가들만이 유독 결함이 있다는 것이 아닙니다. 중요한 것은 정치, 자금 지원, 그리고 대중의 두려움이 한데 모일 때, 제도권은 겸손보다는 과신을 훨씬 더 확실하게 보상한다는 점입니다. 안전이라는 명목으로 막강한 권력이 일단 부여되면, 그 권력을 자발적으로 포기하는 경우는 거의 없습니다.
이것이 바로 현재 인공지능 감독에 대한 논의에서 드러나는 역학 관계입니다.
"만약에" 머신
국가의 광범위한 개입을 정당화하는 데 반복적으로 사용되는 논리는 가상의 악당 행위자입니다. 테러리스트가 이걸 만들면 어떻게 될까? 불량 국가가 이런 짓을 하면 어떻게 될까? 그러한 전제로부터 정부는 재앙을 막기 위해 선제적으로, 대규모로, 그리고 종종 비밀리에 조치를 취해야 한다는 주장이 도출된다.
코로나19 팬데믹 기간 동안에도 비슷한 논리가 광범위한 생의학 연구 계획, 긴급 승인, 그리고 사회적 통제를 정당화했습니다. 그 논리는 순환 논리였습니다. 위험한 무언가가 있기 때문이라는 것이었죠. 수도 만약 그런 일이 발생한다면, 국가는 지금 당장 비상 조치를 취해야 하는데, 그 조치 자체도 상당하고 제대로 이해되지 않은 위험을 수반한다.
인공지능 거버넌스도 점점 같은 맥락에서 논의되고 있습니다. 문제는 인공지능 시스템이 예측 불가능하게 행동할 수 있다는 것뿐만 아니라, 그러한 가능성에 대한 두려움이 대안이 없다는 명분으로 컴퓨팅, 연구, 정보 흐름에 대한 중앙집권적 통제를 의미하는 영구적인 비상 거버넌스를 정당화할 수 있다는 점입니다.
개인적 위험, 공공적 위험
이러한 논쟁에서 간과되는 중요한 차이점 중 하나는 민간 기업이 발생시키는 위험과 국가 권력이 발생시키는 위험 사이의 차이입니다. 민간 기업은 책임, 경쟁, 평판, 시장 규율 등의 제약을 받습니다. 이러한 제약이 완벽하지는 않지만 의미 있는 영향을 미칩니다. 이러한 제약이 피해를 완전히 제거하지는 못하지만, 악순환을 만들어냅니다.
정부 운영 방식은 각기 다릅니다. 국가가 재앙 예방이라는 명목으로 행동할 때, 피드백 효과는 약해집니다. 실패는 불가피한 조치로 재분류될 수 있고, 비용은 외부로 전가될 수 있으며, 비밀 유지는 안보를 핑계로 정당화될 수 있습니다. 가상의 미래 피해는 현재의 정책 수단이 됩니다.
여러 인공지능 분야 학자들이 암묵적으로 이 점을 인정하고 있다. 보스트롬은 인공지능 시스템뿐만 아니라 공황 상태에서 만들어진 거버넌스 구조 자체에서도 "고착" 효과가 발생할 수 있다고 경고했다. 앤서니 아귀레의 국제적 자제 촉구는 논리적으로는 타당하지만, 최근 겸손과 오류 수정 측면에서 부실한 실적을 보여온 국제 조정 기구에 의존하고 있다. 더욱 온건한 제안조차도 정치화와 권한 남용에 저항할 수 있는 규제 기관을 전제로 한다.
코로나19는 그러한 가정에 확신을 가질 만한 근거를 거의 제공하지 않습니다.
감독의 역설
이는 인공지능 논쟁의 핵심에 불편한 역설을 제기합니다. 고도화된 인공지능의 발전을 억제하거나 늦추거나, 혹은 중단시켜야 한다고 진정으로 믿는다면, 그러한 권한을 행사할 가능성이 가장 높은 주체는 정부와 초국가적 기구입니다. 그러나 바로 이러한 주체들이 최근 보여준 행태는 그 권한을 제한적으로, 그리고 되돌릴 수 있게 사용할 수 있을지에 대한 신뢰를 가장 떨어뜨립니다.
비상사태에 대한 인식은 쉽게 바뀌지 않습니다. 가상의 위험을 관리하기 위해 획득한 권한은 지속되고 확대되는 경향이 있습니다. 기관들은 좀처럼 스스로의 중요성을 낮추지 않습니다. 인공지능(AI)의 맥락에서 이는 AI 위험에 대한 대응이 개별 기술보다 훨씬 더 해체하기 어려운, 취약하고 정치화된 통제 시스템을 공고히 할 가능성을 제기합니다.
다시 말해, 위험은 인공지능이 인간의 통제를 벗어나는 것뿐만 아니라, 인공지능에 대한 두려움이 이미 오류를 인정하는 데 더디고 반대 의견에 적대적인 것으로 드러난 기관들에 권력이 집중되는 것을 가속화한다는 점입니다.
실제 위험에 대한 재고찰
이는 인공지능에 대한 안일한 태도를 옹호하는 것도 아니고, 강력한 기술이 실질적인 해악을 끼칠 수 있다는 사실을 부정하는 것도 아닙니다. 단지 관점을 넓히자는 주장입니다. 제도적 실패 그 자체가 존재론적 변수입니다. 선의를 갖고 스스로를 바로잡는 통치를 전제로 하는 시스템은 선의를 갖고 조화롭게 움직이는 초지능을 전제로 하는 시스템보다 더 안전하다고 할 수 없습니다.
코로나 이전에는 기술에 대한 비관론의 대부분을 인간의 부정적 편향, 즉 우리 세대가 직면한 과제들이 유독 해결하기 어렵다고 믿는 경향 탓으로 돌리는 것이 타당해 보였습니다. 하지만 코로나 이후에는 회의론이 편향이라기보다는 경험에서 비롯된 것으로 여겨지게 되었습니다.
따라서 인공지능 논쟁의 핵심 질문은 기계가 인간의 가치에 부합할 수 있는지 여부뿐 아니라, 현대 사회 제도가 불확실성을 증폭시키지 않고 관리할 수 있을 만큼 신뢰할 만한가 하는 점입니다. 만약 그러한 신뢰가 무너졌다면(코로나19 사태는 이를 시사합니다), 인공지능에 대한 광범위한 감독을 요구하는 목소리는 기술적 필연성에 대한 주장만큼이나 면밀한 검토를 받아야 마땅합니다.
가장 큰 위험은 인공지능이 지나치게 강력해지는 것 자체가 아니라, 그러한 가능성에 대한 두려움이 우리가 나중에 감당하기 훨씬 더 어렵거나 벗어나기 힘든 형태의 통제를 정당화하게 만든다는 점일지도 모릅니다.
-
로저 베이트는 브라운스톤 펠로우, 국제법경제센터 수석 펠로우(2023년 1월~현재), Africa Fighting Malaria 이사회 멤버(2000년 9월~현재), Institute of Economic Affairs 펠로우(2000년 1월~현재)입니다.
작성글 전체 보기
