긴 글을 한줄로 요약하면,
기업이나 국방부가 아니라 민주정치가,
사람의 가치를 실현할 윤리체계를 심어주면,
AI가 무릉도원을 10배나 빨리 만들어줄 것이다.
한가지 고끄할수 없는 일은,
사람의 건강수명을 100세 이상으로 올린다는 말이다.
틀렸다.
내가 보기에 건강수명을,
1만년 이상으로 틀림없이 올릴것으로 보인다.
"앤스로픽의 AI 모델인 '클로드(Claude)'를 국방 네트워크에서 사용하는 조건을 두고 정면충돌하고 있다. 앤스로픽은 자신들의 AI가 미국인에 대한 광범위한 감시에 사용되거나, 사람이 개입하지 않는 살상용 자율무기시스템(Lethal Autonomy)을 제어하는 데 쓰이지 않도록 계약서에 명시할 것을 요구하고 있다.
(중략) AI 기술의 윤리의 마지노선을 지키려는 한 기업가와 국가 권력 사이의 투쟁을 보여준다. 그 중심에 앤스로픽의 CEO 다리오 아모데이(Dario Amodei)의 철학이 있다. (중략) AI에게 지켜야 할 원칙(헌법)을 부여하고 스스로 그 원칙에 따라 행동을 교정하도록 학습시키는 방식이다. AI가 사람의 조종 없이도 스스로 민주정의 가치, 인권, 비폭력 원칙을 지키도록 만드는 것을 목표로 한다. (중략) 드론 등 자율무기시스템에서 사람의 개입없는 살상에 AI가 사용되는 것을 강력히 반대한다.
(중략) 아모데이는 "기술의 소유권보다 기술의 사용윤리가 더 중요하다"며 버티고 있다. (중략) 다리오 아모데이(Dario Amodei)가 발표한 에세이 《자애로운 기계(Machines of Loving Grace)》는 그동안 'AI 위험론'의 선두 주자로 인식되었던 그가 던진 매우 다르면서도 쎈 낙관주의 메시지다.
(중략) 아모데이는 AI가 뭇사람의 오래된 문제들을 해결할 수 있는 5가지 영역을 제시한다.
(1) 생물학 및 건강 : 암, 전염병, 알츠하이머 등 대부분의 질병 정복. 사람의 건강수명을 100세 이상으로 연장.
(2) 정신 건강 : 우울증, 조현병 등 정신 질환의 생물학 원인 규명. 완벽한 맞춤형 치료법 제공.
(3) 경제 번영 : AI 자동화로 생산성 극대화. 저개발 국가들이 선진국을 빠르게 따라잡는 '도약(Leapfrogging)' 발생.
(4) 거버넌스와 법 : 편향되지 않은 AI가 법률 지원 및 공공 서비스를 제공하여 부패 감소 및 공정성 증대.
(5) 일과 의미 : 생존을 위한 노동에서 해방. 사람은 창의활동과 관계맺기 등 본질 가치에 집중.
(중략) 다리오 아모데이는 뭇사람=mankind에게 두 가지 길이 있다고 말한다. 하나는 기술의 위험성에 눈감고 파멸로 가는 길이며, 다른 하나는 혹독할 정도의 안전 대책을 세워 '자애로운 기계'의 시대를 여는 길이다. 그의 에세이는 후자를 선택하기 위해 지금 당장 우리가 치러야 할 '윤리비용'과 '규제'가 결코 비싼 것이 아님을 주장하고 있다.
아래글은 다사가 전해온 글을 옮겨놓았다.
===================================================
[ 자신의 철학을 지키려는 앤스로픽(Anthropic) 경영자의 힘든 투쟁 ]
현재 실리콘밸리의 AI 기업 앤스로픽(Anthropic)과 미 국방부 사이의 날선 대립을 통해, 급변하는 AI 기술을 국가가 어떻게 다루어야 하는지에 대한 근본적인 질문을 던지고 있다.
현재 양측은 앤스로픽의 AI 모델인 '클로드(Claude)'를 국방 네트워크에서 사용하는 조건을 두고 정면충돌하고 있다.
앤스로픽은 자신들의 AI가 미국인에 대한 광범위한 감시에 사용되거나, 사람이 개입하지 않는 살상용 자율 무기 시스템(Lethal Autonomy)을 제어하는 데 쓰이지 않도록 계약서에 명시할 것을 요구하고 있다.
미 국방부의 입장는 "우리가 돈 주고 산 제품을 어떻게 쓸지 판매자가 제한하는 것은 받아들일 수 없다"는 입장이다. 국방부는 오직 '법적 테두리 안에서 사용한다'는 원칙만 고수하고 있다.
국방부는 앤스로픽을 굴복시키기 위해 두 가지 상충하는 위협을 가하고 있다.
국방물자생산법(DPA) 발동으로 클로드가 기밀 네트워크에서 승인된 유일한 모델임을 내세워, 강제로 제품을 공급하게 하겠다는 위협이다. 다른 위협은 앤스로픽을 안보 위험 기업으로 찍어 다른 기업들이 앤스로픽과 거래하지 못하게 하겠다는 위협이다. 논리적으로 앤트로픽이 국방에 필수적인데 위험 기업으로 낙인 찍겠다는 모순적 이야기지만 권력이 할 수 있는 모든 수단을 다 사용하겠다는 것이다. 이를 정부의 순수한 갈취적 행태다
그간 중국이 안면인식 AI를 반체제 인사들 감시에 사용하고 있다고 비판해온 미국이 유사한 일을 하지 않겠다는 약속을 하지 못하겠다는 갈등이다.
이 갈등은 단순히 '계약'의 문제를 넘어, AI 기술의 윤리적 마지노선을 지키려는 한 기업가와 국가 권력 사이의 철학적 투쟁을 보여준다.
그 중심에 앤스로픽의 CEO 다리오 아모데이(Dario Amodei)의 철학이 있다.
다리오 아모데이는 오픈AI(OpenAI)의 연구 부문 부사장이었다. 하지만 그는 오픈AI가 영리 기업으로 변모하며 기술의 안전성보다 상업적 출시를 우선시하는 방향에 반대하여, 2021년 핵심 인력들과 함께 앤스로픽을 설립했다.
물리학 박사 출신으로, AI의 작동 원리를 깊이 이해하고 있으며 기술이 가져올 파괴적 영향력을 누구보다 경계한다. 앤스로픽은 스스로를 'AI 안전 및 연구 기업(AI Safety and Research Company)'으로 정의하며, 이윤보다 '안전한 AI' 개발을 최우선 가치로 내세운다.
아모데이의 가장 독창적인 철학은 AI에게 인간의 가치를 주입하는 방식인 "헌법적 AI"다. 사람이 일일이 나쁜 답변을 걸러내는 대신, AI에게 지켜야 할 원칙(헌법)을 부여하고 스스로 그 원칙에 따라 행동을 교정하도록 학습시키는 방식이다. AI가 인간의 조종 없이도 스스로 민주적 가치, 인권, 비폭력 원칙을 지키도록 만드는 것을 목표로 한다.
2026년 현재 앤스로픽이 국방부와 충돌하는 이유는 아모데이의 '레드라인(최후 저지선)' 때문이다. 앤스로픽은 자신들의 모델인 '클로드(Claude)'가 미국 시민을 대상으로 한 광범위한 디지털 감시 도구로 쓰이는 것을 허용하지 않는다. 특히 드론 등 자율 무기 시스템에서 사람의 개입 없는 살상에 AI가 사용되는 것을 강력히 반대한다.
국방부가 국방물자생산법(DPA)까지 동원하며 압박하고 있음에도, 아모데이는 "기술의 소유권보다 기술의 윤리적 사용이 더 중요하다"며 버티고 있다.
흥미롭게도 그는 실리콘밸리의 전형적인 리버테리언(자유지상주의자)들과 달리 강력한 정부 규제를 촉구한다. 그는 AI가 생물학적 무기 제조를 돕거나 문명을 위협할 가능성을 공개적으로 경고해 왔다. 기업 간의 계약은 행정부의 압력에 취약하므로, 의회가 나서서 AI의 위험한 용도를 법으로 금지해야 한다는 것이 그의 지론이다.
다리오 아모데이(Dario Amodei)가 발표한 에세이 《자애로운 기계(Machines of Loving Grace)》는 그동안 'AI 위험론'의 선두 주자로 인식되었던 그가 던진 매우 이례적이고도 강력한 낙관주의적 메시지다.
그는 이 에세이에서 AI가 가져올 수 있는 최악의 시나리오를 막기 위해 노력하는 이유가, 역설적으로 AI가 선사할 수 있는 '믿을 수 없을 만큼 경이로운 미래' 때문임을 역설한다.
"자애로운 기계" 에세이의 제목은 리처드 브라우티건(Richard Brautigan)의 시에서 따왔다. 이는 기술이 인간을 억압하는 것이 아니라, 자연과 인간, 그리고 기계가 완벽한 조화를 이루며 기계가 인간을 자애롭게 보살피는 상태를 상징한다. 아모데이는 강력한 AI(ASIC 수준 이상)가 출현한 후 약 5~10년 뒤의 세상을 구체적으로 묘사한다.
아모데이는 AI가 인류의 고질적인 문제들을 해결할 수 있는 5가지 영역을 제시한다.
(1) 생물학 및 건강: 암, 전염병, 알츠하이머 등 대부분의 질병 정복. 인간의 건강 수명이 100세 이상으로 연장.
(2) 정신 건강: 우울증, 조현병 등 정신 질환의 생물학적 원인 규명. 완벽한 맞춤형 치료법 제공.
(3) 경제적 번영: AI 자동화로 생산성 극대화. 저개발 국가들이 선진국을 빠르게 따라잡는 '도약(Leapfrogging)' 발생.
(4) 거버넌스와 법 : 편향되지 않은 AI가 법률 지원 및 공공 서비스를 제공하여 부패 감소 및 공정성 증대.
(5) 일과 의미: 생존을 위한 노동에서 해방. 인간은 창의적 활동과 관계 맺기 등 본질적 가치에 집중.
아모데이는 AI가 가져올 가장 큰 변화를 '시간의 압축'으로 본다.
AI가 수천 명의 가상 과학자 역할을 수행함으로써, 과거 인간 과학자들이 100년 동안 이뤄낼 생물학적·물리학적 성취를 단 10년 만에 끝낼 수 있다고 주장한다.
AI는 단순히 데이터를 분석하는 것을 넘어, 로봇공학과의 결합을 통해 스스로 가설을 세우고 실험을 설계하여 실제 물리적 발견의 속도를 기하급수적으로 높일 것으로 예측한다.
유토피아를 위한 전제 조건: "안전(Safety)"
이 모든 장밋빛 미래에는 결정적인 '단서'가 붙는다. 바로 안전과 정렬(Alignment)이다.
"우리가 이 놀라운 미래를 보지 못할 유일한 이유는, 우리가 AI를 통제하지 못하거나 AI가 나쁜 의도를 가진 자들의 손에 들어가 스스로 파멸하기 때문이다."
아모데이는 안전 확보를 위해 다음을 주장한다.
윤리적 가드레일: AI가 인간의 가치와 완벽하게 일치해야만 '자애로운 기계'가 될 수 있다. 앤스로픽이 국방부와 충돌하면서까지 '자율 살상'이나 '대량 감시'에 반대하는 이유도, 이러한 오용이 아모데이가 꿈꾸는 유토피아를 파괴할 '독'이 될 것이라고 믿기 때문이다.
민주적 분배: 강력한 AI의 혜택이 특정 국가나 기업에 독점되지 않고, 전 지구적으로 공정하게 분배되어야 한다는 점을 강조한다.
다리오 아모데이는 인류에게 두 가지 길이 있다고 말한다. 하나는 기술의 위험성에 눈감고 파멸로 가는 길이며, 다른 하나는 혹독할 정도의 안전 대책을 세워 '자애로운 기계'의 시대를 여는 길이다. 그의 에세이는 후자를 선택하기 위해 지금 당장 우리가 치러야 할 '윤리적 비용'과 '규제'가 결코 비싼 것이 아님을 주장하고 있다.
아모데이의 공학자적 이상론과 규제 옹호에 대해서는 의견이 다를 것이다. 하지만 자신의 철학을 지키기 위해 국가 권력과 싸우는 모습은 지식인으로서 멋진 모습이다.
