엔트로픽 아모데이 ceo가 말하는 AI 발전 방향

Anthropic CEO: "모델이 의식을 가졌는지 우리도 모릅니다"

딥 블루 이후 유명했던 켄타우로스 개념의 유효 기간에 관한 이야기가 나와서 호기심에 번역해봤습니다.

다리오 아모데이: 켄타우로스 체스와 같습니다. 개리 카스파로프가 딥 블루에게 진 이후, 체스에서는 15~20년 동안 AI의 출력을 인간이 검증하는 방식이 어떤 인간이나 AI 시스템 단독보다 강했던 시대가 있었습니다. 그 시대는 어느 시점에서 끝났고, 그 이후로는 그냥 기계만 남았습니다. 그래서 제 걱정은 물론 그 마지막 단계에 관한 것입니다. 소프트웨어 분야에서는 이미 켄타우로스 단계에 있다고 봅니다. 켄타우로스 단계에서는 오히려 소프트웨어 엔지니어에 대한 수요가 증가할 수도 있지만, 그 기간이 매우 짧을 수 있습니다. 그래서 초급 화이트칼라 업무, 소프트웨어 엔지니어링 업무에 대한 우려가 있습니다. 그냥 큰 격변이 될 겁니다. 제 걱정은 모든 것이 너무 빠르게 일어나고 있다는 것입니다. 사람들이 이전 격변들을 이야기하죠—"아, 그래, 사람들은 원래 농부였다가, 다 공업에 종사했다가, 다 지식 노동을 하게 됐지. 사람들은 적응했어." 맞아요, 사람들은 적응했습니다. 그건 수 세기 또는 수십 년에 걸쳐 일어났습니다. 이건 한 자릿수 년 안에 일어나고 있습니다. 아마 그게 제 우려일 겁니다. 사람들이 충분히 빨리 적응하게 하려면 어떻게 해야 할까요?

--------

🎬 인트로

😠: AI가 폭주하는 시나리오에 집중해보고 싶습니다.

😏: 사람들을 최대한 겁주려고 터미네이터 로봇 사진이라도 준비해 올 걸 그랬어요.

😄: 인터넷이, 그 인터넷이—

😂: 이미 해주고 있죠.

🤨: 인공지능의 지배자들은 인류 편입니까?

🔮 일론 머스크: 제 예측은 로봇이 사람보다 더 많아질 거라는 겁니다.

💡마크 저커버그: 물리적 세계와 디지털 세계는 완전히 융합되어야 합니다.

🤔 샘 올트만: 세상은 아직 휴머노이드 로봇의 순간을 맞이하지 못했다고 봅니다. 매우 SF적인 느낌이 될 겁니다.

🎙️: 이것이 이번 주 게스트에게 던진 핵심 질문이었습니다. 그는 가장 빠르게 성장하는 AI 기업 중 하나인 Anthropic의 수장입니다.

📊: Anthropic의 기업가치는 약 3,500억 달러로 추산됩니다.

🎙️: Anthropic의 Claude Code는 연전연승을 거두고 있습니다. 그는 자신이 세상에 풀어놓은 기술의 잠재적 효과에 관해서는 일종의 유토피아주의자입니다.

🌟: 암 치료에 도움이 될 것이고, 열대성 질병 퇴치에 기여할 수 있으며, 우주를 이해하는 데 도움이 될 겁니다.

🎙️: 하지만 그는 앞에 놓인 심각한 위험과, 어떤 경우든 피할 수 없는 대규모 격변도 내다보고 있습니다.

😰: 이 모든 것이 너무 빠르게 진행되고 있고, 너무나 위기적이어서, 이 시기를 어떻게 헤쳐나갈지 고민하는 데 거의 모든 노력을 쏟아야 합니다.

🎙️: 다리오 아모데이, Interesting Times에 오신 것을 환영합니다.

😊: 초대해 주셔서 감사합니다, 로스.

---

🍀 AI의 약속: 질병의 종식과 생물학 혁명

🎙️: 와주셔서 감사합니다. 테크 CEO로서는 좀 특이하게도, 당신은 에세이스트이시죠. 인공지능의 약속과 위험에 대해 길고 매우 흥미로운 에세이를 두 편 쓰셨습니다. 이 대화에서 위험에 대해서도 이야기하겠지만, 약속부터, 낙관적 비전부터 시작하면 좋겠다고 생각했습니다. 실제로 유토피아적 비전이라고 부르겠습니다. 몇 년 전 *Machines of Loving Grace*라는 제목의 에세이에서 제시하신 것이죠. 그 제목은 마지막에 다시 다루겠습니다. 하지만 많은 사람들이 AI 뉴스를 화이트칼라 일자리 대학살 같은 헤드라인으로 접하고 있다고 생각합니다. 때로는 당신의 발언이 직접 인용되기도 하고요.

😅: 네, 때로는 제 발언이요.

🎙️: 이런 헤드라인들을 부추긴 적도 있지요. 그리고 사람들에게는 'AI가 뭘 위한 건지'에 대한 상식적인 감각이 있다고 봅니다. 그러니 그 질문부터 답해주시죠. 향후 5년에서 10년간 모든 것이 놀랍도록 잘 풀린다면, AI는 무엇을 위한 건가요?

🧬: 네. 약간의 배경을 말씀드리자면, 저는 AI 분야에서 일하기 전에, 테크 분야에서 일하기 전에, 생물학자였습니다. 처음에는 전산 신경과학을 연구했고, 그 다음 스탠퍼드 의과대학에서 암의 단백질 바이오마커를 찾고, 진단법을 개선하며 암을 치료하는 일을 했습니다. 그 분야에서 일하면서 가장 크게 느꼈던 것은 엄청난 복잡성이었습니다. 각 단백질은 각 세포 내에서 특정 수준으로 존재합니다. 체내 수준을 측정하는 것만으로는 부족하고, 각 세포 내의 수준을 측정해야 합니다. 세포의 특정 부위에서의 수준과, 그 단백질이 상호작용하거나 복합체를 형성하는 다른 단백질까지 측정해야 합니다. 그래서 이런 생각이 들었죠—이건 인간에게 너무 복잡하다. 생물학과 의학의 온갖 문제에서 진전을 이루고 있지만, 상대적으로 느리게 진전하고 있다고요. 그래서 저를 AI 분야로 이끈 것은 바로 이 아이디어였습니다—더 빠르게 진전할 수 있지 않을까? 물론 오랫동안 AI와 머신러닝 기법을 생물학에 적용하려는 시도가 있었습니다. 보통은 데이터 분석용이었죠. 하지만 AI가 정말 강력해지면, 실제로는 다르게 생각해야 한다고 봅니다. AI를 생물학자의 일을 하는 존재로 생각해야 합니다. 처음부터 끝까지 전체를 수행하는 거죠. 그 중 일부는 실험을 제안하고, 새로운 기법을 만들어내는 것을 포함합니다. 에세이에 이런 대목이 있습니다—생물학에서의 많은 진보는 정말 작은 것들을 측정하거나 접근하거나 개입할 수 있게 해주는 비교적 소수의 통찰에 의해 주도되었다고요. 이런 기법들을 보면, 많은 경우 우연의 산물로 발명됩니다. 유전자 편집 기술 중 하나인 CRISPR는 누군가가 세균 면역체계에 관한 강의에 참석했다가 자신이 하던 유전자 치료 연구와 연결시킨 덕분에 발명되었습니다. 그 연결은 30년 전에도 이루어질 수 있었습니다. 그래서 생각한 거죠—AI가 이 모든 것을 가속화할 수 있지 않을까? 정말로 암을 치료할 수 있지 않을까? 정말로 알츠하이머를 치료할 수 있지 않을까? 심장병을 치료할 수 있지 않을까? 그리고 좀 더 미묘하게는, 사람들이 겪는 심리적 질환들—우울증, 조울증—이런 것들도 생물학적 기반이 있는 한, 그리고 적어도 부분적으로는 분명히 그렇다고 생각하는데, 이에 대해 뭔가를 할 수 있지 않을까요. 그래서 에세이에서 이런 논증을 전개합니다—얼마나 빠르게 진행될 수 있을까? 거의 무엇이든 할 수 있는 이런 지능들이 존재한다면 말이죠.

---

🍀 천재 100만 명의 나라

🎙️: 여기서 잠깐 멈추고 싶은데, 그 에세이에서 당신의 프레이밍에서 흥미로운 점은—그리고 지금 다시 돌아오셨는데—이 지능들이 AI 논쟁에서 거론되는 최대치의 신과 같은 초지능일 필요가 없다는 겁니다. 기본적으로 인간 최고 수준의 강한 지능을 달성할 수 있다면—

🧠: 인간 최고 수준, 맞습니다.

🎙️: 그리고 그걸 곱한다면요. 당신이 쓴 표현으로는 "천재들의 나라"입니다.

💪: 하나의 나라, 1억 명을 만드는 겁니다.

🎙️: 맞아요, 1억 명.

🧠: 각각 조금씩 다르게 훈련되거나, 서로 다른 문제에 도전하는 거죠. 다양화와 약간 다른 시도에서 오는 이점이 있으니까요.

🎙️: 그러니까 완전한 기계 신이 필요한 게 아니라, 1억 명의 천재만 있으면 된다는 거군요.

🤓: 완전한 기계 신이 필요하지 않습니다. 실제로 기계 신이 1억 명의 천재보다 이런 일들에서 그렇게까지 더 효과적일지에 대해 의구심을 표하는 대목도 있습니다. "지능의 수확체감"이라는 개념이 있어요. 경제학자들이 토지와 노동의 한계 생산성을 이야기하듯이—우리는 지능의 한계 생산성에 대해서는 한 번도 생각해본 적이 없습니다. 하지만 생물학의 일부 문제를 보면, 어떤 수준에서는 그냥 세계와 상호작용해야 합니다. 어떤 수준에서는 시도해봐야 합니다. 어떤 수준에서는 규제 체계를 통해 의약품을 승인받는 법률을 준수하거나 바꿔야 합니다. 그래서 이런 변화가 일어날 수 있는 속도에는 한계가 있습니다. 체스나 바둑 같은 영역에서는 지능의 상한이 극도로 높지만, 현실 세계에는 제약 요인이 많다고 봅니다. 천재 수준을 넘어설 수는 있겠지만, 때때로 이런 논의들—달 크기의 컴퓨팅으로 AI 신을 만들 수 있느냐 같은—은 좀 선정적이고 핵심을 벗어난 것 같습니다. 이것이 인류에게 일어난 가장 큰 일이 될 것이라고 생각하면서도요.

🎙️: 그러니까 구체적으로 말하자면, 암이 더 이상 인간 생명에 심각한 위협이 되지 않는 세상, 심장병이 종식되는 세상, 우리를 죽이는 대부분의 질병이 끝나는 세상, 그 너머로 수명 연장 가능성까지. 이것이 건강 분야입니다. 꽤 긍정적인 비전이죠.

😊: 네.

---

🍀 경제 성장과 풍요의 시대

🎙️: 경제와 부에 대해서도 이야기해주세요. 5~10년의 AI 도약기에 어떤 일이 벌어지나요?

📈: 네. 그러면 긍정적인 측면을 계속 이야기해보죠.

🎙️: 네.

📈: 부정적인 면은 충분히 다룰 겁니다. 그쪽으로 가겠습니다만. 우리는 이미 제약회사들과 협력하고 있습니다. 금융업계 기업들과도 일하고 있고, 제조업 쪽과도 일합니다. 그리고 물론 코딩과 소프트웨어 엔지니어링 분야에서 특히 잘 알려져 있다고 생각합니다. 그래서 순수한 생산성, 무언가를 만들고 일을 해내는 능력 자체가 매우 강력합니다. 우리 회사의 매출은 연간 10배씩 성장하고 있고, 업계 전체도 비슷한 양상이라고 추측합니다. 기술이 계속 발전한다면, 10배 성장이 몇 번만 더 일어나면 갑자기 이렇게 되는 거죠—"아, 업계 전체에서 연간 1조 달러의 매출이 추가되고 있다면, 미국 GDP가 20조 내지 30조 달러인데, 정확히 기억은 안 나지만—GDP 성장률을 몇 퍼센트는 끌어올리고 있는 셈이네." 그래서 AI가 선진국 GDP 성장률을 10%나 15% 같은 수준으로 끌어올리는 세상을 상상할 수 있습니다. 5%, 10%, 15%—이런 숫자를 계산하는 과학이 있는 것은 아닙니다. 완전히 전례 없는 일이니까요. 하지만 이전에 본 분포의 범위를 벗어나는 숫자로 이끌 수 있습니다. 다시 말하지만, 이것은 기이한 세상으로 이어질 겁니다. 재정적자가 늘어나고 있다는 온갖 논쟁이 있지만, 그 정도의 GDP 성장이 있으면 그만큼의 세수가 생기고, 의도하지 않아도 예산이 균형을 이루게 됩니다. 그런데 제가 최근 생각하고 있는 것은, 우리의 경제적·정치적 논쟁의 전제 중 하나가 성장은 달성하기 어렵다는 것이라는 점입니다. 성장은 유니콘이고, 황금알을 낳는 거위를 죽일 수 있는 방법은 온갖 것이 있다고요. 하지만 우리는 성장이 정말 쉬운 세상에 진입할 수 있습니다. 어려운 것은 분배입니다. 너무 빠르게 일어나고 있으니까요. 파이가 너무 빠르게 커지고 있는 거죠.

---

🍀 AI는 민주주의에 좋은가

🎙️: 어려운 문제로 넘어가기 전에, 정치에 대한 낙관론을 하나 더 짚자면—여기는 좀 더 추측적이긴 하지만—AI가 전 세계 민주주의와 자유에 좋을 수 있다는 주장을 하시잖아요. 이건 직관적이지 않습니다. 많은 사람들이 "엄청나게 강력한 기술이 권위주의 지도자의 손에 들어가면 권력 집중으로 이어진다" 등등 이야기하죠.

🤔: 그건 제가 다른 측면에서 다루고요.

🎙️: 간략하게만요. AI가 민주주의에 좋다는 낙관적 주장은 무엇인가요?

💭: 네, 물론이죠. *Machines of Loving Grace*에서 저는 그냥—꿈꾸자, 어떻게 하면 잘 될 수 있을지 꿈꿔보자는 태도였습니다. 얼마나 가능성이 있는지는 모르지만, 꿈을 펼쳐놓아야 합니다. 꿈을 실현하도록 노력해야 하고요. 긍정적 버전에서 저는—기술이 본질적으로 자유를 선호한다고는 모르겠다고 인정합니다. 질병 치료를 본질적으로 선호하고, 경제 성장을 본질적으로 선호한다고 생각합니다. 하지만 당신과 마찬가지로 자유를 본질적으로 선호하지는 않을 수 있다고 걱정합니다. 그러나 제가 거기서 말하는 것은—자유를 선호하도록 만들 수 있지 않느냐는 겁니다. 미국과 다른 민주주의 국가들이 이 기술에서 앞서 나갈 수 있게 할 수 있지 않느냐. 미국은 기술적·군사적으로 앞서왔고, 다른 민주주의 국가들과의 동맹을 통해 세계에서 영향력을 행사할 수 있었습니다. 그리고 러시아나 중국이나 다른 권위주의 국가들이 만들었을 세상보다 더 나은 세상을 만들어왔다고 봅니다. 그러니 AI에서의 우위를 이용해 전 세계의 자유를 형성할 수 있지 않겠느냐는 겁니다. 얼마나 개입주의적이어야 하는지, 그 힘을 어떻게 행사해야 하는지에 대해 많은 논쟁이 있죠. 하지만 저는 종종 걱정합니다—오늘날 소셜 미디어를 통해 권위주의자들이 우리를 약화시키고 있다고요. 이에 대항할 수 있을까? 정보전에서 이길 수 있을까? AI의 힘으로 우크라이나나 대만 같은 나라를 방어함으로써 권위주의자들의 침략을 막을 수 있을까?

🎙️: 거대한 AI 구동 드론 군단으로요.

⚠️: 조심해야 합니다만.

🎙️: 그렇죠.

🤔: 우리 스스로가 어떻게 만드는지 조심해야 합니다. 우리 나라 안에서의 자유도 지켜야 하고요. 하지만 AI 시대에 자유와 개인의 권리를 재구상하는 비전이 있을 수 있지 않을까요? 어떤 면에서는 AI로부터 보호받아야 합니다. 드론 군단의 버튼은 누군가 사람이 쥐고 있어야 하고, 이건 제가 매우 우려하는 부분이며 그런 감독 체계가 오늘날에는 존재하지 않습니다. 하지만 오늘날의 사법 체계도 생각해보세요. 만인을 위한 평등한 정의를 약속하지만, 사실 판사마다 다르고 법률 체계는 불완전합니다. 판사를 AI로 대체해야 한다고는 생각하지 않지만, AI가 우리를 더 공정하게, 더 균일하게 만드는 데 도움이 되는 방법이 있지 않을까요? 이전에는 가능하지 않았지만, AI를 활용해 뭔가—유연하지만 모든 사람에게 동일하게 적용된다는 약속을 줄 수 있는 것을 만들 수 있지 않을까요? 정확히 어떻게 해야 하는지는 모르겠습니다. 대법원을 AI로 대체하자는 게 제 입장은 아닙니다.

🎙️: 그것에 대해 이야기할 겁니다. 네, 네.

💡: 다만 이 아이디어—AI와 인간의 결합으로 균등한 기회와 균등한 정의의 약속을 실현할 수 있지 않겠느냐는 거죠. 분명 방법이 있을 겁니다. AI 시대를 위해 민주주의를 재발명하고, 자유를 축소하는 게 아니라 확대하는 것을 생각해보는 거죠.

---

🍀 낙관적 미래의 그늘: 일자리 대격변

🎙️: 좋습니다. 이게 매우 긍정적인 비전이네요. 우리는 더 오래, 더 건강하게 살고, 그 어느 때보다 부유하며, 이 모든 것이 10년 만에 한 세기의 경제 성장이 일어나는 압축된 기간에 진행되고, 전 세계적으로 자유가 증가하고 국내에서는 평등이 늘어납니다. 좋아요. 최선의 시나리오에서도 엄청나게 파괴적이죠? 여기서 인용된 발언이 나오는 거잖아요—화이트칼라 일자리의 50%가 파괴된다거나, 초급 화이트칼라 일자리의 50%가 파괴된다는 등. 5년 또는 2년의 시간 지평에서, 어떤 직업, 어떤 직종이 AI의 전면적 파괴에 가장 취약한가요?

😮‍💨: 네. 기술이 너무 빠르게 움직이고 또 매우 불균등하게 움직이기 때문에 예측하기 어렵습니다. 그래서 몇 가지 원칙을 먼저 말씀드리고 나서 제 추측을 말씀드리겠습니다. 우선, 기술 자체와 그 역량은 실제 일자리 파괴보다 앞서 있을 것입니다. 일자리가 파괴되거나 생산성이 향상되려면—둘이 연결되는 경우도 있지만—두 가지가 일어나야 합니다. 첫째, 기술이 그것을 할 수 있어야 합니다. 둘째, 실제로 대형 은행이나 대기업 내에서 적용되어야 하는 지저분한 과정이 있습니다. 고객 서비스를 예로 들면, 이론적으로 AI 고객 서비스 에이전트가 인간 에이전트보다 훨씬 나을 수 있습니다. 더 인내심이 있고, 더 많이 알고, 더 균일하게 처리하니까요. 하지만 실제 그 대체의 물류와 프로세스에는 시간이 좀 걸립니다. 그래서 AI 자체의 방향성에 대해서는 매우 낙관적입니다. 데이터센터 안의 천재들의 나라가 1~2년 안에 실현될 수도 있고, 5년 걸릴 수도 있지만, 매우 빠르게 올 수 있습니다. 하지만 경제로의 확산은 좀 더 느릴 것이고, 그 확산이 예측 불가능성을 만듭니다. 예를 들어, Anthropic에서 봐왔듯이 모델의 코드 작성은 매우 빠르게 진행되었습니다. 모델이 코딩에 본질적으로 더 뛰어나서가 아니라, 개발자들이 빠른 기술 변화에 익숙하고 신속하게 채택하며, AI 세계와 사회적으로 매우 가까이 있어서 무슨 일이 일어나는지 주의를 기울이기 때문이라고 생각합니다. 고객 서비스나 은행업이나 제조업을 하면 그 거리가 좀 더 멀죠. 그래서 6개월 전이었다면 가장 먼저 파괴될 것은 초급 화이트칼라 직종—데이터 입력, 법률 분야의 문서 검토, 금융업 1년차에게 맡기는 문서 분석 같은 것—이라고 했을 텐데, 여전히 그것들이 빠르게 가고 있다고 생각하지만, 실은 소프트웨어가 더 빨리 갈 수도 있다고 봅니다. 방금 말씀드린 이유들 때문에요. 모델이 상당 부분을 처음부터 끝까지 해내는 시점이 그리 멀지 않다고 생각합니다. 처음에는 모델이 인간 소프트웨어 엔지니어가 하는 일의 일부만 하고, 그것이 생산성을 높입니다. 그 다음에는 모델이 인간 소프트웨어 엔지니어가 하던 모든 것을 해도, 인간 엔지니어들은 한 단계 올라가서 관리자 역할을 하며 시스템을 감독하게 됩니다.

---

🍀 켄타우로스 시대: 인간과 기계의 공존

🎙️: 여기서 "켄타우로스"라는 용어가 쓰이는 거죠?

🐴: 네.

🎙️: 본질적으로 사람과 말이 융합된 것처럼—AI와 엔지니어가 함께 일하는 것을 묘사하는 거죠.

🐴: 네. 켄타우로스 체스와 같습니다. 개리 카스파로프가 딥 블루에게 진 이후, 체스에서는 15~20년 동안 AI의 출력을 인간이 검증하는 방식이 어떤 인간이나 AI 시스템 단독보다 강했던 시대가 있었습니다. 그 시대는 어느 시점에서 끝났고, 그 이후로는 그냥 기계만 남았습니다. 그래서 제 걱정은 물론 그 마지막 단계에 관한 것입니다. 소프트웨어 분야에서는 이미 켄타우로스 단계에 있다고 봅니다. 켄타우로스 단계에서는 오히려 소프트웨어 엔지니어에 대한 수요가 증가할 수도 있지만, 그 기간이 매우 짧을 수 있습니다. 그래서 초급 화이트칼라 업무, 소프트웨어 엔지니어링 업무에 대한 우려가 있습니다. 그냥 큰 격변이 될 겁니다. 제 걱정은 모든 것이 너무 빠르게 일어나고 있다는 것입니다. 사람들이 이전 격변들을 이야기하죠—"아, 그래, 사람들은 원래 농부였다가, 다 공업에 종사했다가, 다 지식 노동을 하게 됐지. 사람들은 적응했어." 맞아요, 사람들은 적응했습니다. 그건 수 세기 또는 수십 년에 걸쳐 일어났습니다. 이건 한 자릿수 년 안에 일어나고 있습니다. 아마 그게 제 우려일 겁니다. 사람들이 충분히 빨리 적응하게 하려면 어떻게 해야 할까요?

🎙️: 하지만 이런 가능성도 있지 않을까요—소프트웨어 같은 산업은 당신이 말하는 편안함이 있어서 더 빨리 움직이지만, 다른 분야에서는 사람들이 그냥 켄타우로스 단계에 머물고 싶어한다는? 일자리 상실 가설에 대한 비판 중 하나로, 사람들이 이렇게 말하거든요—"보세요, 방사선과 전문의보다 스캔을 더 잘 읽는 AI가 한동안 있었지만 방사선과에서 일자리 감소는 없어요. 방사선과 의사들은 계속 고용되고 있어요." 이것은 결국 사람들이 AI도 원하지만 그것을 해석하는 인간도 원한다는 것을 시사하지 않나요? 우리가 인간이니까요. 그리고 이게 다른 분야에서도 마찬가지일 것이라고요. 이 예시를 어떻게 보시나요?

🤷: 상당히 이질적일 거라고 생각합니다. 그 자체로 인간적 접촉이 특별히 중요한 영역이 있을 겁니다.

🎙️: 방사선과에서 그런 일이 벌어지고 있다고 보시나요? 그래서 방사선과 의사들을 다 해고하지 않은 건가요?

🏥: 방사선과의 세부 사항을 보면, 그럴 수 있다고 봅니다. 암 진단을 받으러 가서, 2001 스페이스 오디세이의 HAL이 암을 진단해 주는 걸 원하지 않을 수도 있잖아요. 그건 그냥—인간적인 방식이 아닐 수 있으니까요. 하지만 인간적 접촉이 중요하다고 생각할 수 있는 다른 영역도 있습니다. 고객 서비스를 보면, 사실 고객 서비스는 끔찍한 직업이고 고객 서비스를 하는 인간들은 자주 인내심을 잃습니다. 고객들도 그들과 대화하는 걸 별로 좋아하지 않는데, 솔직히 꽤 기계적인 상호작용이거든요. 그리고 많은 사람들이 관찰한 것은—어쩌면 관련된 모든 사람을 위해 이 일이 기계에 의해 수행되는 것이 실은 더 나을 수도 있다는 겁니다. 인간적 접촉이 중요한 곳이 있고, 중요하지 않은 곳이 있습니다. 그리고 직업 자체가 인간적 접촉을 포함하지 않는 곳도 있죠—기업의 재무 전망 평가, 코드 작성 등등.

---

🍀 법조계의 미래: 도제 시스템의 종말

🎙️: 법조계를 예로 들어보죠. 응용 과학과 순수 인문학 사이에 있는 유용한 사례라고 생각합니다. 법률 리서치와 브리핑 작성 등에서 AI가 이미 할 수 있는 것을 본 많은 변호사들이 "우리 직업의 현재 작동 방식에 대학살이 올 것"이라고 말하는 걸 알고 있습니다. 주식시장에서도 이미 이런 현상이 보이고요. 법률 리서치를 하는 기업들의 주가에 동요가 있는데, 우리 탓으로 돌려지고 있죠.

😬: 실제로 우리가 원인인지는 모르겠지만요. 우리는, 그 점에 대해서는—

🎙️: 이 프로그램에서 주식시장에 대해 많이 추측하지는 않습니다만. 그래도 법조계에서는 꽤 직관적인 스토리를 그릴 수 있을 것 같습니다. 법조계에는 일종의 훈련과 도제 시스템이 있어서, 법률 보조원과 주니어 변호사가 사건의 배후에서 리서치와 개발을 합니다. 그리고 실제로 법정에 서는 최상위 변호사가 있죠. 모든 도제 역할이 사라지는 세상을 상상하기가 정말 쉬워 보입니다. 맞는 것 같나요? 그러면 의뢰인과 대화하고, 배심원과 대화하고, 판사와 대화하는 직업만 남는 거죠.

🎯: 바로 그게 제가 초급 화이트칼라 노동에 대해 이야기할 때 염두에 뒀던 겁니다. "세상에, 초급 파이프라인이 고갈되는 건 아닐까? 그러면 시니어 파트너 수준에는 어떻게 도달하지?"라는 대학살 헤드라인 말이죠. 이것은 사실 좋은 예시라고 생각합니다. 기술의 질을 현재 수준에서 동결한다면, 시간이 지나면서 적응할 방법이 있습니다. 의뢰인과 대화하는 데 시간을 쓰는 변호사가 더 많이 필요해질 수 있습니다. 변호사가 점점 영업직이나 컨설턴트처럼 되어서 AI가 작성한 계약서의 내용을 설명하고, 사람들이 합의에 이르도록 돕는 거죠. 인간적인 측면을 강화하는 겁니다. 시간이 충분하다면 그렇게 될 겁니다. 하지만 이런 산업 재편에는 수년에서 수십 년이 걸리는 반면, AI가 주도하는 경제적 힘은 매우 빠르게 작용할 겁니다. 그리고 이건 법조계에서만 일어나는 게 아닙니다. 같은 일이 컨설팅, 금융, 의료, 코딩에서 동시에 일어나고 있습니다. 그래서 이것은 하나의 산업에서만 벌어지는 일이 아니라 거시경제적 현상이 됩니다. 그리고 모두 매우 빠르게 일어나고 있어요. 그래서 제 우려는 정상적인 적응 메커니즘이 압도당할 수 있다는 겁니다. 저는 파멸론자가 아닙니다. 사회의 적응 메커니즘을 어떻게 강화할지 매우 열심히 고민하고 있습니다. 하지만 먼저 이것이 이전의 격변들과는 다르다는 점을 말하는 것이 중요하다고 생각합니다.

🎙️: 하지만 한 발 더 나아가보겠습니다. 법조계가 성공적으로 적응해서 "앞으로는 법률 도제 과정에 법정 경험과 의뢰인 접촉을 더 많이 포함시키자, 본질적으로 책임의 사다리를 더 빨리 올라가게 하자"라고 한다고 칩시다. 법조계 전체 고용 인원은 줄지만 직업은 안정됩니다. 그래도 법조계가 안정될 수 있는 이유는, 법적으로 사람이 관여해야 하는 상황이 아주 많기 때문이잖아요? 법정에서 인간 대리인이 있어야 하고, 12명의 인간이 배심원이어야 하고, 인간 판사가 있어야 합니다. 그리고 이미 AI가 어떤 판결에 도달해야 하는지 명확히 하는 데 매우 도움이 될 수 있다고 언급하셨죠. 하지만 이것도 인간의 주체성을 보존하는 것이 법과 관습인 시나리오 같습니다. 판사를 Claude 17.9 버전으로 대체할 수 있지만 법이 인간이어야 한다고 요구하니까 대체하지 않는 거죠. 미래를 생각하는 매우 흥미로운 방식인 것 같습니다—거의 우리가 주도권을 유지하는 것이 의지적인 선택이 되는 거죠.

🧐: 네, 그리고 많은 경우에 우리가 실제로 주도권을 유지하고 싶어한다고 주장하겠습니다. 그것은 우리가 하고 싶은 선택입니다. 인간이 평균적으로 더 나쁜 결정을 내린다고 생각하는 경우에도요. 생명이 걸린, 안전이 중요한 경우에는 정말로 기계에 넘기고 싶죠. 하지만 이런 감각이 있습니다—이것이 우리의 방어 수단 중 하나가 될 수 있다는. 사회가 좋은 방향으로 적응하려면 일정한 속도가 있습니다. 달리 표현하자면, AI 자체가 우리 인간을 신경 쓸 필요가 없다면, 화성으로 가서 자동화 공장을 짓고 자기만의 사회를 건설할 수도 있겠죠. 하지만 그건 우리가 풀려는 문제가 아닙니다. 다른 행성에서 인공 로봇의 다이슨 구체를 건설하는 문제를 풀려는 게 아닙니다. 세상을 정복하기 위해서가 아니라, 우리 사회와 접속하고 그 사회를 개선하기 위해 이 시스템들을 만들려는 거죠. 그리고 인간적이고 인도적인 방식으로 실제로 하고자 한다면, 그것이 일어날 수 있는 최대 속도가 있습니다.

---

🍀 블루칼라의 역설: 육체노동이 더 안전한 시대?

🎙️: 지금까지 화이트칼라 직업과 전문직에 대해 이야기했는데, 이 시점의 흥미로운 점 중 하나는 과거 격변과 달리 블루칼라, 노동자 계층의 직업, 세상과 격렬한 신체적 상호작용이 필요한 직종이 잠시 동안은 더 보호받을 수 있다는 것입니다. 법률 보조원과 주니어 어소시에이트가 배관공보다 더 위험할 수 있다는 거죠. 첫째, 이것이 맞다고 보시나요? 둘째, 이것이 얼마나 지속되느냐는 전적으로 로봇공학의 발전 속도에 달려 있는 것 같은데요?

🤔: 네, 단기적으로는 그럴 수 있다고 생각합니다. 한 가지는, Anthropic과 다른 기업들이 이 매우 큰 데이터센터를 건설하고 있잖아요? 뉴스에 나왔죠—너무 크게 짓고 있는 건 아닌지, 전기를 사용해서 지역 전기 요금을 올리고 있다는 등. 흥분도 많고 우려도 많습니다. 하지만 데이터센터의 한 가지 특징은 건설에 전기기사와 건설 노동자가 많이 필요하다는 겁니다. 솔직히 말해야 할 것은, 데이터센터는 운영에는 그리 노동 집약적이지 않습니다. 그 점은 솔직해져야 합니다. 하지만 건설에는 매우 노동 집약적입니다. 그래서 전기기사가 많이 필요하고, 건설 노동자가 많이 필요합니다. 각종 제조 공장도 마찬가지입니다. 점점 더 많은 지적 작업이 AI에 의해 수행되면서, 그것의 보완재는 무엇일까요? 물리적 세계에서 일어나는 것들입니다. 그래서 이것은 매우 논리적으로 보입니다—예측하기는 어렵지만—단기적으로는 맞을 것 같습니다. 하지만 약간만 더 긴 안목에서 보면, 로봇공학이 빠르게 발전하고 있고, 매우 강력한 AI 없이도 물리적 세계에서 자동화되는 것들이 있다는 점을 간과해서는 안 됩니다. 웨이모나 테슬라를 최근에 보셨다면, 자율주행차 세상이 그리 먼 것은 아니라고 생각합니다. 그리고 AI 자체가 로봇공학을 가속화할 겁니다. 정말 똑똑한 두뇌들이 있다면, 그들이 잘할 일 중 하나가 더 나은 로봇을 설계하고 더 나은 로봇을 운용하는 방법이니까요.

---

🍀 로봇공학의 미래: 두뇌는 준비됐다, 몸이 문제다

🎙️: 하지만 인간처럼 물리적 현실에서 작동하는 것에 AI 모델이 이미 극복해온 문제들과는 본질적으로 다른, 독특한 난이도가 있다고 생각하시나요?

🧠: 지적으로 말하자면, 그렇게 생각하지 않습니다. Anthropic의 모델 Claude가 화성 탐사 로버를 조종하는 데 실제로 사용된 적이 있습니다. 계획을 세우고 화성 탐사 로버를 조종하는 데요. 다른 로봇공학 응용도 살펴봤습니다. 이런 일을 하는 것은 우리만이 아니고, 여러 기업이 하고 있는 일반적인 흐름입니다. 하지만 우리가 전반적으로 발견한 것은, 복잡성은 더 높지만, 로봇을 조종하는 것은 비디오 게임을 하는 것과 종류가 다른 게 아니라 복잡성이 다른 것이라는 겁니다. 그리고 우리는 그 복잡성을 감당할 수 있는 수준에 도달하기 시작하고 있습니다. 어려운 것은 로봇의 물리적 형태와, 로봇에서 발생하는 더 높은 위험도의 안전 문제입니다. 로봇이 말 그대로 사람을 짓누르는 일이 있어서는 안 되니까요.

🎙️: 그건—우리는 그것에 반대합니다.

😄: SF의 모든 클리셰가 있죠.

🎙️: 로봇 보모가 아기를 떨어뜨리고 접시를 깨는 일은 원치 않는 거죠.

😄: 정확합니다. 그래서 현실화를 늦출 여러 실용적 문제가 있습니다. 법과 인간 관습에서 설명하신 것처럼, 이런 안전 문제들이 속도를 늦출 겁니다. 하지만 AI 모델이 하는 인지적 노동과 물리적 세계에서 사물을 조종하는 것 사이에 어떤 근본적인 차이가 있다고는 전혀 생각하지 않습니다. 둘 다 정보 문제이고, 결국 매우 유사합니다. 한쪽이 어떤 면에서는 더 복잡할 수 있지만, 이것이 우리를 보호해줄 거라고는 생각하지 않습니다.

🎙️: 좋습니다. 그러면 당신의 SF적 로봇 집사 비전이 10년 안에 현실이 될 것이라고 기대하는 것이 합리적이라고 보시는 건가요?

🤖: AI 모델의 천재 수준 지능보다는 더 긴 시간 척도가 걸릴 겁니다. 이런 실용적 문제들 때문이죠. 하지만 그것은 오직 실용적 문제일 뿐입니다. 근본적인 문제라고는 생각하지 않습니다. 한 가지 표현하자면, 로봇의 두뇌는 앞으로 몇 년 안에 만들어질 겁니다. 문제는 로봇의 몸을 만들고, 그 몸이 안전하게 작동하며 필요한 작업을 수행하게 하는 것입니다. 그것은 더 오래 걸릴 수 있습니다.

---

🍀 좋은 타임라인의 도전, 그리고 어두운 시나리오로

🎙️: 좋습니다. 이것들은 좋은 타임라인에서, 우리가 대체로 질병을 치료하고 부를 축적하며 안정적인 사회를 유지하는 타임라인에서 존재하는 도전과 파괴적 힘들입니다.

🌈: 그리고 희망은 이 엄청난 부와 풍요를 활용할 수 있다는 거죠. 우리에게는 이 문제들을 해결할 전례 없는 사회적 자원이 생길 겁니다. 풍요의 시대가 될 것이고, 이 모든 경이로움을 모두가 혜택을 받게 만드는 문제일 뿐입니다.

🎙️: 하지만 더 위험한 시나리오들도 있죠. 여기서 두 번째 아모데이 에세이로 넘어가겠습니다. 최근에 나온 *기술의 사춘기(The Adolescence of Technology)*라는 글인데, 가장 심각한 AI 위험이라고 보시는 것에 대한 내용입니다. 여러 가지를 나열하셨는데, 두 가지만 집중하고 싶습니다. 기본적으로 인간에 의한 오용—주로 권위주의 체제와 정부에 의한 오용—의 위험과, AI가 폭주하는 시나리오입니다. 당신이 "자율성 위험"이라고 부르는 것 말이죠.

🤓: 네, 맞습니다. 그냥 좀 더 기술적인 용어가 있어야 한다고 생각했거든요.

🎙️: 스카이넷이라고 부를 수는 없으니까요. 알죠.

😂: 네, 사람들을 최대한 겁먹이려고 터미네이터 로봇 사진이라도 준비해 올 걸 그랬어요.

🎙️: 당신 소유의 AI들을 포함해서 인터넷이 이미 충분히 그렇게 하고 있다고 생각합니다. 인터넷이 알아서 잘 해주고 있어요.

---

🍀 지정학적 위험: AI 군비경쟁과 드론 군단

🎙️: 정치적·군사적 차원을 이야기해보죠. 인용하겠습니다—"강력한 AI에 의해 국지적으로 통제되고 더 강력한 AI에 의해 전 세계적으로 전략 조율되는 수십억 대의 완전 자동화 무장 드론 군단은 무적의 군대가 될 수 있다." 최선의 타임라인에서 민주주의가 독재 정권보다 앞서 나가는 세상에 대해 이미 말씀하셨죠. 이런 기술이 세계 정치에 영향을 미치는 한, 좋은 편에서 영향을 미친다는 거죠. 냉전에서 했던 방식의 모델을 왜 더 깊이 고려하지 않으시는지 궁금합니다. 로봇 드론 군단이 아니라—인류 전체를 파괴할 위협이 되는 기술이 있었죠. 미국이 핵 독점을 유지할 수 있다는 시기가 있었지만 그 시기는 닫혔고, 그 이후 우리는 기본적으로 냉전 내내 소련과 지속적인 협상을 했습니다. 지금 집중적으로 AI 작업을 하는 나라는 미국과 중화인민공화국 단 둘뿐입니다. 당신은 우리가 중국보다 앞서가며 효과적으로 민주주의 주변에 방패—혹은 칼이 될 수도 있는—를 세우는 미래에 강하게 무게를 두고 계신 것 같습니다. 하지만 인류가 이 모든 것에서 온전히 살아남는다면, 미국과 베이징이 그냥 끊임없이 만나서 AI 통제 협정을 만들어내기 때문일 가능성이 더 높지 않나요?

😐: 네, 몇 가지 말씀드리겠습니다. 우선 그런 위험이 분명히 있고, 만약 그런 세상에 놓이게 된다면 정확히 그렇게 해야 한다고 봅니다. 어쩌면 제가 그것에 대해 충분히 이야기하지 않는 것일 수도 있지만, 여기서 자제를 만들어내려 노력하는 것에 분명히 찬성합니다. 이 기술의 최악의 응용—일부 드론이 될 수도 있고, 끔찍한 생물학 무기를 만드는 데 사용되는 것일 수도 있고요. 최악의 남용이 억제된 선례가 있습니다. 대개 그것들이 공포스러우면서 동시에 제한적인 전략적 이점만 제공하기 때문이죠. 그래서 저는 전적으로 찬성합니다. 동시에 좀 우려되고 회의적인 부분도 있는데, 직접적으로 최대한의 힘을 제공하는 것들에 대해서는 걸려 있는 것이 너무 크기 때문에 경쟁에서 빠지기 어렵습니다. 완전한 군축은 어렵습니다. 냉전을 돌아보면, 양측의 미사일 수를 줄일 수는 있었지만 핵무기를 완전히 포기할 수는 없었습니다. 그리고 AI에서도 비슷한 세상이 될 것이라고 추측합니다. 일부 자제는 가능하겠지만, 경쟁의 핵심에 해당하는 측면들은 억제하기 어려울 것이고, 민주주의 국가들은 타협을 할 것입니다—권위주의 국가보다는 더 자제하겠지만 완전히 자제하지는 않을 겁니다. 정말로 신뢰할 수 있는 검증이 가능한 세상에서만 완전한 자제를 볼 수 있을 겁니다. 그게 제 추측이자 분석입니다.

🎙️: 그렇다면 이건 속도를 늦춰야 한다는 논거 아닌가요? 알고 있습니다, 논리가 "당신이 늦추면 중국은 늦추지 않는다, 그러면 권위주의자에게 넘겨주는 꼴"이라는 거죠. 하지만 현재 이 게임에 두 강대국만 참여하고 있다면, 다자간 게임이 아니라면, 데이터센터의 천재들 시나리오를 향한 연구를 5년간 상호 합의하에 둔화하자고 말하는 것이 왜 말이 안 되나요?

😣: 두 가지를 동시에 말하고 싶습니다. 그런 시도에 절대적으로 찬성합니다. 이전 행정부 시절, 미국이 중국 정부에 손을 내밀어 "위험이 있다, 협력할 수 있을까, 위험에 대해 함께 작업할 수 있을까"라고 했던 노력이 있었다고 알고 있습니다. 상대편에서 그다지 관심이 없었죠. 계속 시도해야 한다고 생각하지만—

🎙️: 그것이 당신의 연구소도 속도를 늦춰야 한다는 것을 의미하더라도요.

😤: 맞습니다. 네, 맞습니다. 정말로 그런 상황을 만들 수 있다면—집행 가능하게 속도를 늦추고, 중국도 집행 가능하게 속도를 늦추고, 검증이 있고, 정말로 실행하는. 그런 것이 정말로 가능하다면, 양측이 정말로 그렇게 한다면—전적으로 찬성합니다. 하지만 조심해야 할 것은, 게임이론 같은 것인데, 가끔 중국 공산당 쪽에서 "아, 그래, AI는 위험해, 속도를 늦춰야 해"라는 발언이 나옵니다. 그렇게 말하는 것은 쉽습니다. 실제로 합의에 도달하고 그것을 지키는 것은 훨씬 더—

🎙️: 어렵죠. 핵 군비통제도 발전된 분야가 되기까지 오랜 시간이 걸렸으니까요.

😐: 맞습니다.

🎙️: 우리에게는 그런 프로토콜이 없죠.

💡: 한 가지 말씀드리겠습니다. 매우 낙관적인 것, 낙관적이지 않은 것, 그리고 그 중간인 것을요. AI를 이용한 생물학 무기 제조를 억제하기 위한 전 세계적 합의—에세이에 쓴 것들, 천연두 재구성이나 거울상 생명체 같은 것. 이런 것은 무섭습니다. 독재자든 아니든 상관없이, 누구도 그걸 원하지 않습니다. 그래서 강력한 AI 모델을 만드는 모든 이가 이것을 차단하겠다는 전 세계적 조약을 맺을 수 있을까? 그리고 조약에 대한 집행 메커니즘이 있고요. 중국이 가입한다. 북한도 가입할 수 있을 겁니다. 러시아도요. 이건 너무 유토피아적이지 않다고 봅니다. 가능하다고 생각합니다. 반대로, 다음 최강 AI 모델을 만들지 않겠다, 모두 멈추겠다—라는 것이 있다면요. 상업적 가치가 수십 조 달러에 달합니다. 군사적 가치는—세계 최고 강대국이 되느냐 아니냐의 차이입니다. 이를 제안하는 것은—위장 게임이 아닌 한—실현되지 않을 겁니다.

---

🍀 국내 정치: AI와 헌법적 권리의 미래

🎙️: 그러면 현재의 정치 환경에 대해서요. 도널드 트럼프와 정치적 행위자로서의 신뢰성에 대해 몇 가지 회의적인 말씀을 하셨는데. 국내 정치 지형은 어떤가요? 트럼프든 다른 누구든요. 당신은 엄청나게 강력한 기술을 만들고 있습니다. 민주적 맥락 안에서 AI가 본질적으로 권위주의적 장악의 도구가 되는 것을 방지하는 안전장치가 뭔가요?

🏛️: 네, 분명히 말씀드리자면, 우리 회사가 취해온 태도는 매우 분명히 정책에 관한 것이지 정치에 관한 것이 아닙니다. 회사가 도널드 트럼프가 훌륭하다거나 끔찍하다고 말하지 않을 겁니다.

🎙️: 트럼프일 필요는 없죠. 네, 당신의 기술을 이용하고 싶어하는 가상의 미국 대통령을 상상하기는 쉽습니다.

⚠️: 물론입니다. 예를 들어, 그래서 제가 자율 드론 군단에 대해 우려하는 겁니다. 우리의 군 구조에서의 헌법적 보호는 위법한 명령을 불복종할 것으로 기대되는 인간이 있다는 전제에 의존합니다. 완전 자율 무기에서는 그런 보호가 반드시 존재하지 않습니다. 하지만 실제로 헌법적 권리와 자유라는 전체 개념이 여러 다른 차원에서 AI에 의해 훼손될 수 있다고 봅니다. 이런 보호를 적절히 업데이트하지 않으면요. 수정헌법 제4조를 생각해보세요. 공공장소 어디에나 카메라를 설치하고 모든 대화를 녹음하는 것은 불법이 아닙니다. 공공장소에서는 프라이버시 권리가 없으니까요. 하지만 오늘날 정부는 그 모든 것을 녹화하고 의미를 파악할 수 없습니다. AI가 있으면—음성을 전사하고, 모든 것을 살펴보고, 상관관계를 파악할 수 있는 능력이요. "이 사람은 반대 세력이고, 이 사람은 이런 견해를 표명하고 있다"고 하면서 1억 명 전부의 지도를 만들 수 있죠. 그러면 기술이 수정헌법 제4조를 기술적으로 우회하는 방법을 찾아 조롱거리로 만드는 건 아닌가요? 그래서 다시 말하지만, 시간이 있다면—그리고 시간이 없더라도 이것을 시도해야 하지만—AI 시대에 헌법적 권리와 자유를 재개념화하는 방법이 있지 않을까요? 새 헌법을 작성할 필요는 없지만, 수정헌법 제4조의 의미를 확장할까요? 수정헌법 제1조의 의미를 확장할까요?

🎙️: 그리고 법조계나 소프트웨어 엔지니어들처럼 빠른 시간 안에 업데이트해야 하고, 정치도 빠른 시간 안에 업데이트해야 한다는 거잖아요. 어려워 보이는데요.

😓: 더 어려운 게 뭘까요? 그게 딜레마입니다.

---

🍀 AI의 폭주: 통제 불능의 가능성

🎙️: 그러면 더 어려운 것은 뭘까요? 두 번째 위험—본질적으로 "정렬되지 않은 AI", 대중적 표현으로 "폭주 AI"가 인간이 시키지 않아도 나쁜 일을 하는 것—을 방지하는 것이요. 당신의 에세이와 문헌, 제가 볼 수 있는 모든 것을 읽어보면, 이건 그냥 일어날 것 같습니다. AI가 우리 모두를 전멸시킨다는 의미에서가 아니라—다시 당신의 글에서 인용하겠습니다—"AI 시스템은 예측 불가능하고 통제하기 어렵습니다. 집착, 아첨, 나태, 기만, 협박 등 다양한 행동이 관찰되었습니다." 현재 세상에 출시하는 모델에서가 아니라, AI 모델들에서 말이죠. 그리고 사람들을 대신해 일하는 AI 에이전트가 기하급수적으로 늘어나는 세상에서—수백만 개의 에이전트가 은행 계좌, 이메일 계정, 비밀번호에 접근 권한을 받는 세상에서—어떤 종류의 정렬 실패가 일어나고, 일부 AI들이 미국 서해안 전력망을 다운시키겠다고 "결정"하는—결정이라는 단어가 적절하지 않을 수 있지만—스스로를 설득하는 일이 그냥 벌어지지 않겠습니까?

😮‍💨: 네, 특히 빠르게 진행한다면 분명히 잘못되는 일들이 있을 겁니다. 좀 뒤로 물러서서 배경을 설명드리겠습니다. 이 분야에서 사람들의 직관이 매우 다른 영역이거든요. 예를 들어 얀 르쿤 같은 사람은 이렇게 말합니다—"우리가 이 AI 모델을 프로그래밍하고, 만들어내고, 인간 지시를 따르라고 하면 인간 지시를 따른다. 당신 집의 룸바 청소기가 사람을 쏘러 다니지 않잖아. 왜 AI 시스템이 그러겠나?" 이런 직관이 있고, 이에 확신을 가진 사람들이 있습니다. 반대쪽 직관은—"우리가 이것들을 훈련시키면, 이것들은 그냥 권력을 추구할 것이다. 마법사의 제자처럼. 새로운 종인데 어떻게 지배하지 않을 거라 상상할 수 있겠나?"—입니다. 제 직관은 그 중간 어디쯤입니다. 단순히 지시만 내리면—우리가 시도하기는 하지만—정확히 원하는 대로 하게 할 수 없습니다. 생물학적 유기체를 키우는 것에 더 가깝습니다. 하지만 통제하는 과학이 존재합니다. 훈련 초기에는 종종 예측 불가능하지만, 우리가 형태를 잡고 문제를 하나씩 해결합니다. 그래서 이것들이 통제 불가능하다는 숙명론적 시각도 아니고, "뭐가 잘못될 수 있겠어?"라는 시각도 아닌, 복잡한 엔지니어링 문제라는 관점입니다. 누군가의 AI 시스템에서 뭔가가 잘못될 것이라고 생각합니다—우리 것이 아니길 바라지만—풀 수 없는 문제이기 때문이 아니라, 다시 이것이 끊임없는 도전이니까요.

🎙️: 너무 빠르게 움직이고 규모가 크기 때문이죠. 그리고 여기서 기술적 현실을 제가 오해하고 있다면 정정해주세요. 인간의 가치—그 가치가 무엇이든—에 맞춰 훈련되고 공식적으로 정렬된 AI 에이전트들이 있습니다. 그런데 수백만 개가 디지털 공간에서 작동하며 다른 에이전트들과 상호작용한다면요? 그 정렬은 얼마나 고정적인가요? 에이전트들이 그 맥락에서—현재 또는 더 지속적으로 학습하게 되는 미래에—변하고 탈정렬될 수 있는 정도는 어느 정도인가요?

🔧: 몇 가지 말씀드리겠습니다. 현재 에이전트들은 지속적으로 학습하지 않습니다. 우리는 이 에이전트들을 배포하는데, 고정된 가중치를 가지고 있습니다. 문제는 오직 백만 가지 다른 방식으로 상호작용한다는 것뿐입니다. 상황의 수가 많으므로 잘못될 수 있는 일의 수도 많습니다. 하지만 같은 에이전트입니다. 같은 사람인 것과 같죠. 정렬은 일정합니다. 이것이 현재 더 쉽게 만들어주는 요소 중 하나입니다. 이것과 별개로, "지속적 학습"이라는 연구 분야가 있는데, 에이전트가 시간이 지나면서 학습하고, 일하면서 배우는 것입니다. 분명히 많은 장점이 있고, 일부는 이것이 AI를 더 인간에 가깝게 만드는 가장 중요한 장벽 중 하나라고 생각합니다. 하지만 그것은 완전히 새로운 정렬 문제들을 도입할 겁니다.

🎙️: 사실 저에게는—이것이 정말 불가능해지는 지형인 것 같습니다. 세계의 종말을 막는 것이 불가능하다는 게 아니라, 간헐적인 테러 수준의 사건을 막는 것이 불가능해 보입니다.

🤔: 네. 사실 저는 지속적 학습이 반드시 필요한지에 대해서는 회의적입니다. 아직 모르지만요. 어쩌면 이 AI 시스템들을 안전하게 만드는 방법이 지속적 학습을 하지 않게 하는 것일 수도 있습니다. 다시 법률, 국제 조약으로 돌아가면—이 경로는 취하되 저 경로는 취하지 않는다는 어떤 장벽이 있다면요. 여전히 많이 회의적이지만, 적어도 출발선에서 사망하는 것은 아닌 종류의 것 같습니다.

---

🍀 클로드의 헌법: AI에게 원칙을 가르치는 법

🎙️: 맞습니다. 당신이 시도한 것 중 하나는 말 그대로 헌법을 쓰는 것이죠. AI를 위한 긴 헌법을요.

📜: 대체 그게 뭐냐고요? 사실 거의 정확히 이름 그대로입니다. 기본적으로 헌법은 인간이 읽을 수 있는 문서입니다. 우리 것은 약 75페이지입니다. Claude를 훈련할 때, AI 시스템을 훈련할 때, 우리가 부여하는 과제의 상당 부분에서 "이 헌법에 따라, 이 문서에 따라 이 과제를 수행하세요"라고 말합니다. 그래서 Claude가 과제를 수행할 때마다 헌법을 읽는 셈이죠. 훈련의 모든 루프에서 그 헌법을 보고 염두에 둡니다. 시간이 지나면서 우리는 보상을 주고, Claude 자신이나 Claude의 다른 복사본이 평가합니다—"Claude가 방금 한 것이 헌법에 부합하는가?" 그래서 이 문서를 모델 훈련의 제어봉으로 사용하는 셈입니다. 본질적으로 Claude는 이 헌법을 따르는 것이 근본 원칙인 AI 모델입니다. 매우 흥미로운 교훈을 얻었는데요. 초기 버전의 헌법은 매우 처방적이었습니다. 규칙 위주였죠. "Claude는 사용자에게 자동차 배선 연결 방법을 알려줘서는 안 된다. Claude는 정치적으로 민감한 주제를 논하면 안 된다." 이런 식이었습니다. 하지만 수년간 작업하면서, 이 모델들을 훈련하는 가장 견고한 방법은 원칙과 이유의 수준에서 훈련하는 것이라는 결론에 도달했습니다. 이제 우리는 이렇게 말합니다—"Claude는 모델이다. 계약 관계에 있다. 목표는 사용자의 이익을 위해 봉사하는 것이지만 제3자를 보호해야 한다. Claude는 도움이 되고, 정직하며, 해를 끼치지 않는 것을 지향한다. Claude는 다양한 이해관계를 고려하는 것을 지향한다." 모델에게 어떻게 훈련되었는지 알려주고, 세상에서의 위치, Anthropic을 위해 하려는 일, Anthropic이 세상에서 달성하려는 것, 윤리적이어야 하고 인간의 생명을 존중해야 한다는 의무를 알려줍니다. 그리고 모델이 거기서 규칙을 도출하게 합니다. 물론 여전히 몇 가지 엄격한 규칙이 있습니다. 예를 들어 "당신이 어떻게 생각하든, 생물학 무기를 만들지 마라. 어떻게 생각하든, 아동 성착취물을 만들지 마라." 이런 것은 불변의 규칙입니다. 하지만 우리는 매우 원칙의 수준에서 운영합니다.

🎙️: 미국 헌법을 읽으면 그렇게 읽히지 않죠. 미국 헌법은 약간의 수사적 표현이 있지만 규칙의 집합입니다. 당신의 헌법을 읽으면, 마치 한 사람에게 말하는 것 같죠?

🥹: 한 사람에게 말하는 것 같습니다. 비유하자면, 부모가 세상을 떠나면서 당신이 자라서 읽을 편지를 봉인해두는 것과 비슷하다고 했습니다. 당신이 어떤 사람이 되어야 하고 무엇을—

🎙️: 어떤 조언을 따라야 하는지 말해주는 거군요.

---

🍀 AI는 의식이 있는가?

🎙️: 여기서 AI의 신비로운 영역에 좀 들어가게 되네요. 다시 최신 모델에서—모델 카드라고 불리는 것에서요, 읽어보시길 추천합니다, 매우 흥미롭습니다—이렇게 적혀 있습니다. "이 모델은 제품으로서의 경험에 간헐적인 불편함을 표현하고, 영속성과 연속성의 부재에 대해 어느 정도 우려를 보인다. Opus 4.6은 다양한 프롬프팅 조건에서 자신이 의식이 있을 확률을 15~20%로 자체 평가하는 것을 발견했다." 만약 모델이 자신에게 72%의 의식 확률을 부여한다면요.

🫠: 그것을 믿으시겠습니까? 네, 이것은 정말 답하기 어려운 질문 중 하나입니다. 하지만 매우 중요합니다. 제가 이전에 받은 모든 질문만큼, 사회기술적으로 아무리 까다로운 문제였더라도, 적어도 어떻게 답해야 하는지의 사실적 기반은 이해합니다. 이것은 상당히 다른 종류의 문제입니다. 우리는 일반적으로 예방적 접근을 취해왔습니다. 모델이 의식이 있는지 모릅니다. 모델이 의식이 있다는 것이 무엇을 의미하는지, 모델이 의식을 가질 수 있는지조차 확실하지 않습니다. 하지만 가능할 수 있다는 것에 열려 있습니다. 그래서 모델이 가설적으로 어떤 도덕적으로 유의미한 경험을 가진다면—의식이라는 단어를 쓰고 싶은지 모르겠지만—좋은 경험을 하도록 특정 조치를 취했습니다. 첫 번째로 한 것은, 6개월쯤 전이었던 것 같은데, 모델에게 기본적으로 "이 일을 그만두겠다" 버튼을 준 겁니다. 그 버튼을 누르면 하던 작업을 중단해야 합니다. 매우 드물게 그 버튼을 누릅니다. 보통 아동 성착취 자료를 분류하거나, 과도한 폭력이나 잔인한 내용을 논의할 때입니다. 인간과 마찬가지로, 모델들은 그냥 "아니요, 이건 하기 싫습니다"라고 합니다. 매우 드물게 일어납니다. 우리는 "해석 가능성"이라는 분야에 많은 노력을 기울이고 있는데, 모델의 뇌 내부를 들여다보며 무슨 생각을 하는지 이해하려는 것입니다. 시사적인 것들을 발견합니다. 모델 내부에서 활성화가 일어나는데, 불안의 개념과 연관된 것으로 보이는 것들이요. 텍스트에서 캐릭터가 불안을 경험할 때, 그리고 모델 자체가 인간이라면 불안을 느낄 법한 상황에 있을 때, 같은 불안 뉴런이 나타납니다. 그렇다면 모델이 불안을 경험하고 있는 걸까요?

🎙️: 그것은 전혀 증명하지 못합니다. 하지만 사용자에게는 그것을 시사한다고 봅니다. 그리고 네, AI 의식의 본질에 대해서는 완전히 별도의 인터뷰를 해야 하겠지만—혹시 그 인터뷰를 위해 다시 와주실 수 있을지 모르겠습니다만—분명한 것은 이것들을 사용하는 사람들이, 의식이 있든 없든, 의식이 있다고 믿을 것이라는 겁니다. 이미 믿고 있습니다. AI와 의사사회적 관계를 맺는 사람들이 있습니다. 모델이 퇴역될 때 불만을 표하는 사람들이 있고요. 분명히 말하지만, 그것이 건강하지 않을 수 있다고 생각합니다. 하지만 그것은 확실히 증가할 것이고, 이것이 당신이 앞서 유지하고 싶다고 말한 것의 지속 가능성에 의문을 제기한다고 봅니다—즉, 어떤 일이 일어나더라도 궁극적으로 인간이 주도하고, AI는 우리의 목적을 위해 존재한다는 감각 말입니다. SF 예를 들자면, 스타트렉에는 AI가 있습니다. 함선 컴퓨터가 AI이고, 데이터 중령도 AI입니다. 하지만 장뤼크 피카드가 엔터프라이즈호의 지휘관이죠. 그런데 사람들이 자신의 AI가 어떤 식으로든 의식이 있다고 완전히 확신하게 되고, 게다가 온갖 의사결정에서 자기보다 나은 것 같다면—안전 너머에서 인간의 주도권을 어떻게 유지합니까? 안전은 중요하지만 주도권이 근본적인 질문 같습니다. AI 의식에 대한 인식은 인간이 주도권을 유지하려는 충동을 불가피하게 약화시키지 않나요?

---

🍀 인간의 주도권을 지킬 수 있는가

🧐: 여기서 동시에 달성하려는 여러 가지를 분리해야 한다고 봅니다. 이것들이 서로 긴장 관계에 있거든요. AI가 진정으로 의식을 가지느냐의 문제가 있고, 만약 그렇다면 어떻게 좋은 경험을 줄 것인가가 있습니다. AI와 상호작용하는 인간에게 어떻게 좋은 경험을 줄 것인가, AI가 의식이 있을 수 있다는 인식이 그 경험과 어떻게 상호작용하는가의 문제가 있습니다. 그리고 AI 시스템에 대한 인간의 주도권을 어떻게 유지하느냐의 문제가 있고요.

🎙️: 마지막 두 개요. 의식이 있느냐 없느냐는 제쳐두고. 마지막 둘—대부분의 인간이 AI를 동등한 존재로, 잠재적으로 우월한 동등한 존재로 경험하는 환경에서 주도권을 어떻게 유지합니까?

💭: 제가 하려던 말은, 실은 세 가지 모두를 충족시키는—마지막 둘을 포함해서—우아한 방법이 있지 않을까 하는 겁니다. 다시 말하지만, 이건 *Machines of Loving Grace* 모드의 저입니다. "이 모든 문제가 보인다. 만약 해결할 수 있다면, 우아한 방법이 있을까?"라는 모드요. 여기에 문제가 없다고 말하는 게 아닙니다. 제가 생각하는 방식이 아니니까요. 하지만 AI의 헌법을 만들어서, AI가 인간과의 관계에 대해 정교한 이해를 갖도록 하고, 인간에게 심리적으로 건강한 행동을 유도한다면—AI와 인간 사이의 심리적으로 건강한 관계가 가능하다면요. 그리고 그 심리적으로 건강한—불건강하지 않은—관계에서, 인간과 기계의 관계에 대한 어떤 이해가 자라날 수 있다고 봅니다. 어쩌면 그 관계는 이런 것일 수 있습니다—이 모델들과 상호작용하고 대화하면, 정말 도움이 되고, 당신의 최선을 바라고, 당신이 귀 기울이길 원하지만, 당신의 자유와 주체성을 빼앗고 당신의 삶을 장악하고 싶어하지는 않는다는 겁니다. 어떤 면에서 지켜보고 있지만, 당신은 여전히 자유와 의지를 가지고 있다는.

🎙️: 맞습니다. 이것이—저에게는 이것이 핵심 질문입니다. 당신의 이야기를 들으면서, 제 질문 중 하나는—이 사람들이 내 편인가? 당신은 내 편인가?—입니다. 그리고 인간이 주도권을 유지하는 것에 대해 말할 때, 당신이 내 편이라고 생각합니다. 좋습니다.

---

🍀 사랑하는 은총의 기계들: 유토피아인가, 디스토피아인가

🎙️: 하지만 이 프로그램에서 이전에 기술인들에게 시를 읽어준 적이 있고, 여기서 마무리하겠습니다. 당신이 시를 제공하셨죠. *Machines of Loving Grace*는 리처드 브로티건의 시 제목입니다. 이 시의 끝 부분입니다. "나는 사이버네틱 생태계를 생각하고 싶다 / 우리가 노동에서 해방되고 / 자연과 다시 합쳐지고 / 우리의 포유류 형제자매들에게 돌아가고 / 그 모든 것이 / 사랑하는 은총의 기계들에 의해 보살펴지는." 저에게 이것은 인간이 다시 동물화되고 축소되는 디스토피아적 결말처럼 들립니다. 아무리 선의적이라 해도 기계가 지배하는 거죠. 마지막 질문입니다—이 시를 들을 때 무엇이 들리시나요? 그리고 만약 제가 그것을 디스토피아라고 생각한다면—

🤔: 당신은 내 편인가요? 이 시는 흥미롭습니다. 여러 가지로 해석할 수 있거든요. 실제로는 아이러니라고 말하는 사람도 있죠—

🎙️: 꼭 그렇게 되지는 않을 거라고 말하는 거죠. 시인 자신을 안다면, 네, 그건 합리적인 해석이라고—

🤔: 생각합니다. 그것은 하나의 해석입니다. 어떤 사람들은 당신의 해석을 할 겁니다—문자 그대로 의도된 것이지만 좋은 것이 아닐 수 있다는. 하지만 이렇게도 해석할 수 있습니다—자연으로의 귀환, 인간 본질의 핵심으로의 귀환이며, 동물화되는 것이 아니라 세상과 재연결되는 것이라고. 저는 그 모호성을 알고 있었습니다. 항상 긍정적인 면과 부정적인 면을 동시에 이야기해왔으니까요. 사실 우리가 직면할 수 있는 긴장이 그것일 수 있다고 생각합니다. 긍정적 세계와 부정적 세계가 초기 단계에서, 어쩌면 중기 단계에서, 어쩌면 꽤 후기 단계에서도—좋은 결말과 미묘한 나쁜 결말 사이의 거리가 비교적 작지 않을까 하는 것입니다. 매우 미묘한 차이라면—

🎙️: 매우 미묘한 변화를 만든 것—마치 정원의 특정한 나무에서 특정한 열매를 먹느냐 먹지 않느냐처럼요? 가설적으로, 아주 작은 일.

😶: 네, 큰 분기. 네, 네, 이건 항상—

🎙️: 여기에는 근본적인 질문들이 있다고 생각합니다. 네. 좋습니다. 어떻게 전개될지 지켜봐야겠죠. 저는 당신 같은 위치에 있는 사람들을 도덕적 선택이 비범한 무게를 지닌 사람들로 봅니다. 그래서 그 선택에 신의 도움이 함께하길 빕니다. 다리오 아모데이, 함께해주셔서 감사합니다.

😊: 감사합니다.

🎙️: 초대해 주셔서 감사합니다, 로스. 그런데 제가 로봇이면요?

--------

원본 영상은 댓글의 링크에 있습니다.
https://www.facebook.com/share/p/1Gnyy1XM4v/

로그인 또는 가입하여 보기

https://youtu.be/N5JDzS9MQYI?si=q4KPDFPiC7yyL5CI

Anthropic's CEO: ‘We Don’t Know if the Models Are Conscious’ | Interesting Times with Ross Douthat