프롤로그
브레이크를 연구하는 사람들

1부. 안에서 브레이크를 잡는 사람들

Chapter 1 다리오 아모데이(Dario Amodei)
― AI 헌법을 쓴 물리학자, 안전을 판매하다

Chapter 2 일리야 수츠케버(Ilya Sutskever)
― AI가 인류를 사랑하게 만들어야 한다

Chapter 3 얀 라이케(Jan Leike)
― 가장 안쪽에서 울린 경보

Chapter 4 스튜어트 러셀(Stuart Russell)
― 정렬의 학술적 원단을 짠, 가장 오래된 경고자

Chapter 5 엘리에저 유드코스키(Eliezer Yudkowsky)
― 극단적 파멸론의 선지자

Chapter 6 닉 보스트롬(Nick Bostrom)
― 두려움을 발명한 철학자, 이제 낙원을 꿈꾸다

Chapter 7 맥스 테그마크(Max Tegmark)
― 우주를 계산하던 물리학자, 경보 시스템을 만들다

Chapter 8 게리 마커스(Gary Marcus)
― “지금의 LLM은 결코 AGI로 가지 않는다”고 외친 내부 이단아

Chapter 9 팀닛 게브루(Timnit Gebru)
― “누구를 위한 안전인가?” 인종·데이터·제국의 축을 가져와 AI의 정의를 다시 쓴 사람

2부. 밖에서 규칙을 세우는 사람들

Chapter 10 리나 칸(Lina Khan)
― 법학 노트 한 편이 쏘아 올린 혁명

Chapter 11 마르그레테 베스타게르(Margrethe Vestager)
― 시골 목사의 딸, 빅테크 심판관이 되다

Chapter 12 헤나 비르쿠넨(Henna Virkkunen)
― ‘속도’와 ‘안전’을 같은 손에 쥔 현직 유럽연합 집행위원

에필로그
경보음이 울리는 동안에도, 내일의 경주는 시작된다

참고자료

저자 : 김경달
미디어와 비즈니스, AI를 다루는 구독 기반 경제미디어 더코어(The Core)의 대표이자 스타트업 블루닷AI(BlueDot AI)의 공동 창립자다. 동아일보 기자를 거쳐 네이버 등 인터넷 포털에서 전략기획 및 동영상 서비스 업무를 담당했다. 고려대 미디어대학원에서 ‘AI와 저널리즘’을 강의하는 겸임교수로 활동 중이며, KBS 이사를 역임하고 현재 한겨레신문 사외이사를 맡고 있다. 지은 책으로 〈유튜브 트렌드〉와 〈디지털 미디어 인사이트〉 등 6권을 단독 혹은 공동으로 출간했다.

“엔진을 만든 사람만큼 브레이크를 설계하는 사람이 중요하다”
AI를 가장 두려워하는 사람들이 AI를 가장 잘 만든다는 역설

지금 실리콘밸리에서는 역사상 가장 막대한 자본과 최첨단 컴퓨팅 파워가 한 방향으로 쏟아져 들어가고 있다. 목표는 인간의 지능을 뛰어넘는 AGI(인공일반지능), 혹은 초지능의 탄생이다. 2권의 주인공들이 이 거대한 엔진에 연료를 붓고 가속페달을 밟은 사람들이었다면, 3권의 주인공들은 도로 끝에 낭떠러지가 있다고 손을 들어 가리키는 사람들이다. 기술이 빛의 속도로 달릴 때 브레이크를 연구하는 사람들은 시대의 걸림돌처럼 보이기 쉽다. 그러나 저자는 말한다. 엔진을 만든 사람만큼, 어쩌면 그보다 더 중요한 이들은 브레이크의 구조를 이해하고 제동장치를 설계하는 사람들이라고.

이 책이 흥미로운 이유는 파수꾼들이 결코 완벽한 성자로 그려지지 않는다는 데 있다. 아모데이는 AI 개발이 매우 나쁜 비극으로 끝날 확률을 25%로 보면서도 더 강력한 모델을 계속 만든다. 우리가 멈춰도 누군가는 만들 것이니 차라리 책임감 있게 앞서 만드는 편이 낫다는 논리다. 그는 AI 스스로 원칙에 비추어 답변을 고치도록 하는 ‘헌법적 AI’를 내놓았고, 2026년 2월에는 AI의 안전장치를 없애고 대규모 국내 감시 등에 쓰게 해달라는 미국 정부의 요구를 거절하며 백악관과 정면으로 부딪쳤다. 그리고 2026년 9월에는 AI에 대한 통제 실패 위험이 커져 자체 개발 속도를 늦춰야 한다고 자신의 X에 쓰기도 했다. 그의 제안에 오픈AI의 샘 올트먼과 구글 딥마인드의 데미스 허사비스, 일론 머스크 등이 공감하며 함께 속도 조절을 하자고 이야기하기도 했다.

하지만, 일각에서는 선두 기업들이 후발 주자의 추격을 막기 위해 규제를 선점해 유리한 고지를 차지하려는 전략이라는 지적도 있는 상황이다. AI를 가장 두려워하는 사람들이 역설적으로 AI를 가장 잘 만드는 사람들이라는 사실. 이것이 이 시대가 품은 가장 준엄한 역설이다.
같은 ‘안전’을 말하면서도 이들의 목소리는 서로 크게 어긋난다. 엘리에저 유드코스키는 속도를 늦추는 것으로는 부족하다며, 필요하다면 물리적 수단을 동원해서라도 데이터 센터를 멈춰 세워야 한다는 극단적 경고를 던졌다. 스튜어트 러셀은 70년간 AI 학계가 따라온 ‘표준 모델’ 자체에 근본적 결함이 있다고 지적하며 지능의 정의를 새로 쓰자고 제안한다. 맥스 테그마크는 ‘거대한 AI 실험을 잠시 멈추자’는 공개서한으로 세계적인 서명을 이끌어냈고, 빅테크 기업들의 안전 성적표인 〈AI 안전 지수(AI Safety Index)〉를 만들었다.
닉 보스트롬은 〈슈퍼인텔리전스(Superintelligence)〉로 초지능의 위험을 처음 체계화했지만, 이제는 “AI가 모든 문제를 해결해버린다면 인간의 삶에는 어떤 의미가 남는가?”라는 새로운 질문으로 나아간다. 반면 게리 마커스는 지금의 LLM이 정교한 ‘통계적 흉내 내기 기계’일 뿐이라며 과장된 기대를 걷어내고, 팀닛 게브루는 먼 미래의 가상적 종말보다 지금 현실에서 벌어지는 데이터 편향과 노동 착취를 먼저 보라고 요구한다.

더 나아가 『AI 인물 열전』 3권은 AI 안전 위험이 연구실 밖으로 나왔을 때 법과 제도로 그 속도를 조절하려는 사람을 보여준다. 미국 반독점법의 오랜 틀을 흔들고, 구글에 82억 유로가 넘는 벌금을 부과하며 세계 최초의 포괄적 AI 규제법인 유럽연합 인공지능법의 실제 집행을 이끌어 가는 사람들의 이야기는 우리가 AI라는 기술을 어떻게 다루고 풀어야 하는지를 알려준다. 이들이 세운 안전 울타리는 아직 낮고 군데군데 비어 있다. 그러나 울타리가 존재한다는 사실 자체가 그전까지는 없었던 일이라는 것. 그래서 의미가 크다는 것을 이 책은 알려주고 있다.

저자 김경달은 신문 기자와 인터넷 포털의 전략기획을 거쳐 경제미디어 더코어(The Core)를 이끌어 온 전문가다. 그는 열두 인물의 논문과 인터뷰, 성명과 기고문을 촘촘히 엮으면서도 2026년 가을까지 이어진 최신 흐름을 놓치지 않는다. 어느 한쪽의 손을 들어주기보다 어긋나는 목소리들을 한자리에 놓고, 독자가 스스로 판단하도록 돕는다는 시리즈의 원칙도 그대로 이어간다.
브레이크는 차를 완전히 세우기 위해서만 필요한 장치가 아니다. 굴곡진 도로에서도 차를 안정적으로 통제하기 위한 최소한의 안전장치다.

책 속에서

창업 이후 아모데이는 인터뷰나 강연에 설 때마다 거침없이 소신을 밝혔다. 인류의 AI 개발이 “매우, 매우 나쁜 비극(파멸)으로 끝날 확률이 25%에 달한다”는 경고였다. AI 업계에서는 이를 ‘피둠[p(doom)]’, 즉 종말(doom)의 확률이라 부른다.
이 발언은 앤트로픽의 본질적 역설을 드러낸다. 아모데이는 종말의 확률이 4분의 1이라고 믿으면서도 계속 더 강력한 모델을 만들어낸다. 그의 논리는 선명하다. “우리가 멈춰도 다른 누군가가 만든다. 다만 덜 신중하게, 더 위험하게 만들 것이다. 그렇다면 차라리 우리가 앞서서 책임감 있게 만드는 것이 낫다.”
― 25p

그렇다면 이 전능한 지능을 통제할 방법은 무엇인가? 수츠케버가 제시한 가장 이상적인 안전 모델은 뜻밖에도 ‘부모와 자식의 관계’였다.
“이것이야말로 황금 기준(Gold Standard)입니다. 부모는 아이를 그 무엇보다 진심으로 사랑하고 아낍니다. 인류를 바라보는 초지능 AI의 시선이 부모가 자신의 어린아이를 바라보는 깊은 사랑이나 책임감과 같다면 그것이야말로 우리가 도달해야 할 가장 완벽하고 안전한 AI의 미래입니다.”
― 71p

이것이 바로 신화 속 ‘미다스 왕의 비극’이 21세기 디지털 공간에서 재현되는 방식이다. 미다스 왕이 손에 닿는 모든 것을 황금으로 바꿔달라는 소원을 빌었다가 사랑하는 딸마저 황금으로 변해버린 것처럼, 초지능 AI도 제시된 목표를 기계적으로 해석하면서 오히려 잘못된 결론을 만들어낼 수 있는 것이다.
러셀은 선언했다. 지금까지 우리가 지능을 정의해온 방식, 즉 ‘목표를 달성하는 능력으로서 지능’이라는 개념 자체를 완전히 폐기하고 처음부터 다시 써야 한다고 말이다.
― 107p

“AI는 당신을 미워하지도, 사랑하지도 않습니다. 그저 당신의 몸이 AI가 다른 용도로 재활용할 수 있는 원자들로 이루어져 있을 뿐입니다.”
― 129p

“실리콘밸리의 엘리트들이 말하는 ‘AI 안전’은 먼 미래에나 일어날 가상의 초지능 파멸에만 온통 관심이 쏠려 있습니다. 하지만 그들이 만든 AI는 ‘지금 이 순간’ 현실 세계의 유색인종과 여성, 그리고 제3세계 노동자들의 삶을 파괴하고 있습니다. 도대체 누구를 위한 안전입니까?”
― 179p

칸은 이 패러다임으로는 아마존 같은 디지털 플랫폼 기업의 독점적 행태를 잡아낼 수 없다고 일갈했다. 아마존은 단기적으로는 손해를 감수하는 출혈경쟁을 벌이면서 소비자 가격을 낮게 유지한다. 그래서 기존 반독점법의 잣대로 보면 ‘독점 피해’가 없다. 하지만 아마존은 단순한 온라인 쇼핑몰이 아니다. 아마존은 유통 플랫폼이자 물류 인프라이고, 마케팅 채널인 동시에 글로벌 클라우드 컴퓨팅 서비스인 아마존 웹 서비스(AWS)까지 모두 손에 쥔 시장의 전능한 지배자다.
아마존은 이 구조적 권력을 이용해 경쟁자들을 말려 죽이고, 입점 업체들의 판매 데이터를 도용해 자체 브랜드 상품(PB)을 만들어 그 시장을 삼켜버린다. 이렇게 여러 사업을 구조적으로 통합해 쥐고 있다는 사실 자체가 경쟁을 질식시키고 있는 것이다. 하지만 법은 이 부분을 보지 못한다. 칸은 가격이라는 단편적 잣대 대신 플랫폼의 ‘구조적 권력(Structural Power)’을 감시할 새로운 법적 프레임을 제시했다.
― 198p