1 예측 패러다임
2 블랙박스로서 AI
3 인프라로서 AI
4 AI 산업
5 AI가 드러내는 문제들
6 AI의 안전장치
7 AI 시대에 함께 살아가기

감사의 글
주
참고문헌
옮긴이의 글
찾아보기

저자 : 모나 슬론(Mona Sloane)
버지니아 대학교 데이터과학 및 미디어학과 조교수이다. 런던 정경대학교(LSE)에서 박사 학위를 받았으며, 캘리포니아 대학교 버클리 캠퍼스, 케이프타운 대학교, 베를린 바이첸바움 연구소 등에서 펠로십 과정을 마쳤다. 뉴욕 대학교 탠던 공과대학 연구 조교수, 뉴욕 대학교 AI 및 환경 예술 연구 프로그램인 *This Is Not A Drill*의 설립자이자 초대 디렉터를 역임했다. 사회학자로서 그가 이끄는 슬론 연구소(Sloane Lab)는 AI와 전문직, 응용 AI의 책임 및 거버넌스, 연구 기반 AI 혁신 분야에서 사회과학계의 리더십을 발휘하고 있다. 온라인 공개 강연 시리즈 ‘Co-Opting AI’의 진행자이며, 퍼블릭 북스(Public Books)의 기술 편집자이기도 하다. 연구 분야는 AI 감사 및 투명성 제고를 위한 새로운 방법 개발, AI 조달 혁신, 채용 및 인재 확보에서 AI 활용, AI 참여 및 대중 교육, 탐사 저널리즘을 위한 새로운 AI 도구, 글로벌 AI 정책 및 AI를 활용한 지방 정부 혁신, 그 밖에 다양한 AI 관련 주제 등이다.

역자 : 김홍옥
전북 정읍에서 태어나 서울대학교 소비자아동학과와 같은 대학 교육학과 석사과정을 마쳤다. 광양제철고등학교 교사를 거쳐, 우리교육·삼인 출판사 등에서 근무했다. 현재 전문번역가로 활동 중이다. 옮긴 책으로 《우리가 사랑하는 동물, 혐오하는 동물, 먹는 동물》 《나의 어린 내담자》 《연기와 재》 《이윤을 향한 질주》 《그린의 정신》 《자연의 악》 《총, 선, 펜》 《톱니바퀴와 괴물》 《유인원과의 산책》 《육두구의 저주》 《우리편 편향》 《우리는 기후 변화에도 적응할 것이다》 《행동의 전염》 《교사 역할 훈련》 《대혼란의 시대》 《느린 폭력과 빈자의 환경주의》 《잃어버린 숲》 《바다의 가장자리》 《우리를 둘러싼 바다》 《지구 한계의 경계에서》 등이 있다.

책의 구성

AI는 우리가 아무리 그것을 기술적인 것으로 만들려 해도, 언제나 사회적이다. 그러나 우리는 종종 그 사실을 보지 않으려 한다. 이 책은 바로 그 문제를 다룬다. AI의 사회적 지식 결핍을 해결하고, AI의 사회성을 진지하게 받아들이는 작업의 개념적 토대를 마련하기 위해 사회과학과 인문학의 아이디어 및 방법을 활용한다. 또한 예측 패러다임이 불가피한 기술의 부산물이 아니라, 의도적으로 구성된 사회적 장치임을 보여준다.
이를 위해 이 책은 예측과 AI의 기술적 구조가 지닌 사회적 기원을 파헤친다. 1장에서는 AI가 예측 패러다임을 사회 조직의 원리로 확립할 뿐만 아니라, 인과관계에 대한 우리의 사회적 신념을 한층 강화한다고 주장한다. 이는 AI가 개별 인간의 의사 결정이 필요한 상황을 최소화하면서 확장하는 노동 절약형 기술로 설계되기 때문이다.

2장에서는 AI가 ‘블랙박스’라는 신화를 벗긴다. 그리고 AI의 작동 원리는 인간이 이해할 수 없을 만큼 복잡하다는 통념은 과장되었다고 주장한다. AI가 예측 패러다임을 어떻게 우리 일상에 사회 인프라로 통합해 인간의 번영, 사회 제도, 그리고 우리가 서로 관계 맺는 방식을 형성하는지 살펴본다. 모든 인프라는 방향성을 띠는데, 이는 그 설계가 자원·아이디어·사람이 흐르는 방향을 결정하기 때문이다. AI 설계 역시 그와 유사한 방향성을 지닌다. 즉 AI는 선형적 시간 체제를 활용해, 대개 최적화를 목적으로 하는 예측을 위해 데이터 분류 과정을 손쉽게 수행하도록 설계된다. 때때로 AI는 사람들을 명시적으로 분류하며, 그 결과 누가 무엇을 어떻게, 누구와 함께 할 수 있는지 고착화한다. 이러한 현상은 AI가 사회적 분류에 의존하는 데서뿐만 아니라, 그것이 전제하는 가정에서도 여실히 드러난다. 이러한 가정이 AI 안에서 어떻게 굳어지는지 살펴보고, 이게 바로 사람들이 해당 가정에 접근하거나 그것을 변경하기 어렵게 만드는 사회 인프라로서 AI의 특징임을 밝힌다.

3장에서는 AI를 ‘사회 인프라’로 다시 읽는다. 수전 리 스타, 에릭 클라이넨버그의 논의로 대표되는 과학기술학의 인프라 개념에 기대, AI가 도로나 상하수도처럼 평소에는 ‘지루하게’ 배경으로 물러나 있다가 고장이 나고서야 비로소 모습을 드러내며, 우리의 사회적 관계를 표준화하고 통제하는 관료적 도구임을 보여준다. 즉 AI는 미래에 대한 예측적 추정을 우리의 일상적 상호 작용에 파고들도록 한다. 이는 우리가 서로 관계를 맺는 방식뿐만 아니라 제도와 상호 작용하는 데서도 나타난다. AI의 예측 기능은 우리에게는 너무나 일상적이고 인프라적 소프트웨어 기능을 뒷받침한다. 스팸 필터링, 자동 수정, 자동 완성 같은 기능에서부터 문법 검사기 등의 글쓰기 보조 도구, 예측 모델에 의존해 콘텐츠를 선별하고 행동을 감시하며 규범을 강화하는 소셜 미디어와 직장 내 기술 시스템이 그러한 예다. 이를테면 AI 시스템은 노동자를 감시하는 데 활용된다. 원격 직원 추적 시스템은 이메일·웹사이트·클라우드 등 다양한 경로를 통해 노동자의 활동을 모니터링하고 분석하며, 생산성 점수를 부여하거나 그 감시된 행동이 불법일 가능성, 또는 회사 정책상 금지된 행동에 해당할 가능성을 예측한다. 노동자들은 징계를 받을 때에야 비로소 그 같은 감시가 이루어지고 있다는 사실을 깨달을 수도 있다. 이러한 예측적 질서는 드러나지 않게 작동한다. AI는 우리가 사용하는 기존의 과정과 소프트웨어 애플리케이션에 자연스럽게 녹아들어 있다.

4장은 ‘AI 산업’을 해부한다. 저자는 오픈AI가 한 푼의 이익도 내지 못하면서 기업 가치를 그리스의 한 해 국내총생산에 맞먹는 수준으로 평가받는 풍경, ‘예측’이라는 비물질 상품을 둘러싼 거대한 금융적 기대와 투기를 냉정하게 파헤친다. 대다수 사람은 AI를 강력한 기술일 뿐만 아니라, 거대하고 전례 없는 시장의 힘으로 간주한다. AI는 종종 기업이 더 적은 인원으로 더 많은 일을 하게 하거나, 같은 인원이 더 적은 시간과 노력으로 더 많은 일을 하도록 하며, 그렇게 절약한 노동력을 다른 업무에 투입하게 하는 ‘확장 기술’로서 위치 지어진다. 그러나 이것이 사실이라는 증거는 아직 거의 없다.
AI를 일종의 자산으로 이해하는 방식으로 설명하기도 한다. 그러나 AI 산업은 매우 강한 수준의 금융 투기를 기반으로 하기에 라이선스 수수료를 걷는 것 같은 기존의 수익 창출 방식에만 주목해서는 자산으로서 AI의 가치를 제대로 파악하기 어렵다. 따라서 AI 산업을 한층 잘 이해하는 방법은 예측과 AI의 가치 평가에 깊이 배어 있는 상업 논리가 21세기 자본주의의 핵심 특징, 즉 금융화, 독점, 수요자 독점, 부의 집중, 그리고 공공의 이익보다 주주 가치 창출을 우선하는 경향 등과 어떻게 맞물리는지 따져보는 것이다.

5장은 화려한 약속 뒤에 가려진 실제 비용, 즉 시급 2달러로 유해 콘텐츠를 분류하는 케냐 노동자, 일반 검색보다 10배나 높은 에너지 소비, 데이터 센터에 반대해 들고일어선 미국 농촌 주민들, 그리고 스리마일섬 원자로를 되살리는 빅테크의 전력 계약 등을 끈질기게 추적한다.
이러한 비용은 AI가 환경에 끼치는 막대한 영향, 그리고 AI가 사회 인프라로서 제대로 작동하지 않을 때 개인과 공동체에 안기는 피해에서 비롯된다. 여기에는 잘못된 체포, 복지나 금융 부문의 불공정 대우, 허위 표절 의혹 따위가 해당한다. 이러한 AI의 실패가 그것으로 피해를 본 사람에게만 현실적 문제로 다가간다는 점을 설명한다. AI가 잘못된 결정을 내려도 피해자가 그것을 밝히고 바로잡기란 구조적으로 어렵다. 피해 원인이 AI라는 점을 꼭 집어내기 힘들고, 해로운 AI 결정에 이의를 제기할 수 있는 절차가 거의 마련되어 있지 않기 때문이다. 최근의 공적 담론은 이러한 AI 피해에 점점 더 주목하지만, 대체로 그 문제를 ‘편향’이나 ‘정확성’의 관점에서 따진다. 이 책에서는 AI의 사회적 영향을 오로지 이러한 틀에만 한정하면, 특히 생성형 AI를 평가할 때 그 한계가 드러나며, 결과적으로 AI를 바라보는 시야가 좁아진다고 주장한다.

6장은 “AI는 윤리적이어야 한다”는 손쉬운 구호에 맞선 치밀한 반론이다. 여기서는 벤담식 공리주의와 전차 문제를 수량화에 적합하다는 이유로 끌어안는 ‘가치 정렬(value alignment: AI의 목표와 행동이 인간의 가치, 의도, 윤리적 기준과 일치하도록 만드는 연구 분야)’ 프로젝트가 정작 윤리의 맥락성과 사회성을 놓친다고 주장한다. 도덕철학이 AI의 설계·정책·교육에 미치는 영향을 파헤치고, AI 설계 과정에서 윤리·가치·도덕 원칙을 형식화하는 작업의 어려움을 다룬다.
가치 정렬이라는 수학적 기법은 AI 윤리에 접근하는 한 가지 방법이다. 그러나 ‘우리는 어떻게 AI와 더불어 살아가야 하는가’라는 질문을 이런 기술적 문제로 환원하는 데는 한계가 있다고 주장한다. 이러한 접근은 규범적 틀과 형식화에 의존하기 때문이다. 즉 이는 무엇이 바람직하고 허용 가능한지 규정하는 아이디어와, 이를 기계가 명시하고 계산하고 최적화할 수 있는 절차로 코드화하는 기술을 결합한 방식이다. 이러한 접근을, 도시 설계에서 찾아볼 수 있는 좀더 참여적이고 ‘실천으로서 윤리’를 기반으로 한 인프라 구축 개념과 대비시킨다. 또한 AI 설계 및 교육과 관련해 기존에 확립된 연구 윤리의 타당성을 논의하고, 규제 기관이 AI 위험을 완화함과 동시에 국가 경제의 성장을 위해 AI의 잠재력을 활용하는 과제를 어떻게 다루는지도 살펴본다. 마지막으로, 사회과학적 관점에서 접근했을 때 응용 AI의 책임성이 어떤 모습을 띠는지 보여준다.

7장에서는 예측 패러다임이 ‘단 한 가지 미래’라는 결정론과 선형적 시간 체제를 정당화하면서, 공동체와 민주주의의 토대인 숙의를 잠식한다고 경고한다. 미래가 하나이고 그것을 알 수 있다고 전제하는 순간, 서로 다른 다양한 미래를 두고 토론하는 일은 한낱 비효율로 전락하기 때문이다. 도저한 흐름은 기술 과두 세력이 주도하는 변화가 아니라, 우리 모두가 함께 만들어가는 한층 광범위한 변화라고 말한다. 한편 AI를 공익사업이자 공익 기술로 재정립하려는 움직임에 주목한다. 프랑스의 AI 액션 서밋, 오직 공개 데이터로만 학습하고 소스 코드를 오픈한 스위스의 국가 언어 모델 아페르투스가 그 대표적 사례다. 책 말미에서 저자가 도나 해러웨이의 ‘사이보그’ 개념, 제임스 스콧의 ‘예상치 못한 상황을 전제로 한 계획’을 불러냄으로써 끝내 도달하는 결론은 명확하다. 우연한 발견과 불확실성과 사회성을 끌어안는 일, 그리하여 무엇을 진보로 간주할지 결정하는 힘을 다시 다수에게 돌려주는 일이야말로 우리에게 남은 과제라고 역설한다.

AI를 둘러싼 낙관론과 비관론이 현기증 날 정도로 빠르게 반복되면서 본질이 흐려지기도 했지만, 이제는 AI가 사회 질서와 권력 구조에 미치는 영향에 대한 전반적 성찰과 평가가 본격화하고 있다. AI를 어떻게 규율하고 어떤 안전장치를 마련해야 하는지에 관한 논의에서는, AI가 사회의 핵심 인프라로 기능한다는 점을 중요하게 고려한다. 사람들은 AI가 현실 세계의 결과에 입김을 불어넣는다는 점, 특정 목적과 프로젝트에 봉사한다는 점, 그리고 물질적·기술적 측면과 사회적·문화적 측면을 동시에 지닌다는 점을 고려해 다양한 안전장치를 제안한다. 그럼에도 여전히 AI의 온갖 문제를 포괄적으로 해결할 수 있는 하나의 일반 원칙을 모색 중이다. 그러나 많은 이들이 기대하는 그런 포괄적 접근법은 생각만큼 잘 작동하지 않는다. AI에 안전장치를 마련하려는 노력은, 단순한 수치나 지표로 윤리에 다가가는 접근만으로는 해결할 수 없으며, AI의 설계·사용·안전을 구체적 맥락에서 다루어야 하는 복잡성으로 인해 어려움을 겪는다.
이 책은 AI에 대한 기술 중심적 관점을 비판하지만, 기술 자체나 그 안에 담긴 다양한 가능성마저 부정하지는 않는다. AI에 대한 기술적 틀 짓기를 문제 삼는다고 해서 AI를 비난하거나 기술자들을 꾸짖으려는 의도는 아니며, AI가 하나의 사회적 구성물이라는 점을 강조하려는 것이다. AI와 함께하는 우리 미래 역시 마찬가지다. AI가 사회적이라는 입장은 존재론적 관점인데, 이는 우리가 AI를 끊임없이 함께 만들어간다는 사실을 말해준다.
또한 인식론적 주장도 곁들인다. 즉 AI가 사회적인 것이라면, AI 세계에서 사회과학적 전문성은 분명한 역할과 위상을 지닌다. 특히 생성형 AI를 통해 AI가 사회 조직의 가장 깊은 층위로 스며들수록 사회성은 더욱 중요해진다. 그리하여 AI의 사회적 영향만 단순하게 늘어놓는 평면적 담론은 서서히 사라지고, 대신 어떻게 사람들이 AI를 이해하고 해석하는지, 그리고 어떻게 그로 인해 급변하는 세계를 의미화하는지 이해해야 할 필요성이 절실하다. 정교하고 시급한 이 같은 탐구는 AI의 사회성이 문화, 정치, 과학, 가족생활, 종교, 교육 등 사회의 거대 구조 전반에 어떤 변화를 일으키는지 분석하는 작업과 함께 이루어져야 한다. 이는 사회과학자가 활용하는 도구들을 통해 가장 잘 뒷받침될 수 있다.
우리는 모두 사회과학적 접근을 통해 AI의 사회성을 일상적으로 드러내는 방법을 배울 수 있다. 만약 그렇게 하지 않는다면, AI의 사회성은 배경에 도사리고 있다가 바람직하지 않고 통제 불가능한 방식으로 느닷없이 모습을 드러낼 것이다. 예컨대 불평등을 심화하고, 집단들 간의 사회적 연결을 약화하며, 제도적 책임성을 훼손함으로써 미래란 우리가 함께 상상하고 만들어가는 게 아니라 이미 정해져 있고 진즉에 도래했다는 인상을 풍기는 것이다.

추천사

슬론은 AI 기술에 대한 훌륭한 안내서일 뿐만 아니라 사회 인프라로서 AI의 매력을 일깨울 설득력 있는 새로운 틀을 제시한다.
-앨리슨 퓨(Allison Pugh), 《사람의 마지막 직업》 저자

AI를 형성하는 사회적 요인과, 나아가 AI를 수용한 사회에 대한 경고를 담은 책으로 이 분야의 떠오르는 스타 중 한 명이 썼다. 중요할뿐더러 반드시 필요한 책이다.
-에릭 클라이넨버그(Eric Klinenberg), 《폭염 사회》 저자

슬론은 AI 프로젝트의 핵심에 예측 패러다임을 위치시키며, 상관관계의 발생을 인과관계의 징후로 취급하는 가정과 작동 방식에 대해 기술적으로 정통하고 명확하게 설명한다.
-루시 서치먼(Lucy Suchman), 《인간-기계 재구성: 계획과 상황적 행동》 저자