Holly Herndon & Matt Dryhurst, Hans Ulrich Obrist: 무한한 AI [video]

• 인공지능이 예술 생태계 전반에 미치는 영향을 다각도로 분석하며, 기계 학습 모델(Machine Learning Model)과 그 학습 데이터(Training Data) 자체가 새로운 형태의 예술 작품이 될 수 있음을 주장함.
• 예술가의 데이터 주권과 합의 메커니즘을 위한 기술 인프라(Spawning) 구축 및 새로운 시대에 걸맞은 허용적 지적재산권(Permissive IP)의 필요성을 역설함.
• 보컬 딥페이크(Holly+)와 잠재 공간(Latent Space)에 대한 탐구를 통해, 정체성의 유연성과 AI 기술 발전에 대응하는 능동적 낙관주의 태도를 제시함.

---

도입부: 음악적 배경과 기술적 예술 협업의 시작

• 홀리 허든(Holly Herndon)의 음악적 기원과 형성
  • 미국 남부에서 성장하며 교회 성가대에서 노래하고 피아노와 기타를 연주하며 음악을 시작함.
  • 음악을 단순한 예술 형태가 아닌, 공동체의 교감(communion), 의식(ritual), 결속의 매개체로 경험하며 성장함.
• 맷 드라이허스트(Matt Dryhurst)와의 만남 및 파트너십
  • 2000년대 초반 런던의 음반사에서 일하던 맷이 초창기 팟캐스트를 기획함.
  • 팟캐스트 발매 지연에 대해 홀리가 항의 이메일을 보낸 것을 계기로 두 사람이 베를린에서 만나게 되었으며, 이후 17년째 부부이자 예술적 동지로 협업하고 있음.
• 기술과 예술에 대한 총체적(Holistic) 접근 태도
  • 이들의 작업은 단순한 기술적 실험에 그치지 않고, AI가 유발하는 예술적, 기술적, 사회적, 경제적 생태계의 변화를 통합적인 시각에서 사유함.

서펜타인 갤러리(Serpentine) 전시: 기계 학습 모델과 데이터의 예술화

• 서펜타인 갤러리 개인전의 전시 기획과 초점
  • AI 시대에 예술가로 살아간다는 것의 이면, 즉 '어두운 복도(dark corridors)'를 탐구하는 것을 목표로 함.
  • AI가 만들어낸 출력물(output)에만 집중하는 기존의 경향에서 벗어나, 기계 학습 모델 자체의 모든 다면적 측면을 갤러리 공간에 전시하는 도전을 감행함.
• 학습 데이터(Training Data)를 바라보는 새로운 관점
  • 새로운 AI 모델이 출시될 때마다 성능 향상에만 주목할 뿐, 그 모델을 훈련시키는 데이터의 출처나 생성 과정은 간과되는 현실을 지적함.
  • 기존의 학습 데이터는 인간이 이미 만들어놓은 예술 작품이나 제스처 위에 부수적(incidental)으로 수집된 정보에 불과했음.
  • 본 전시에서는 학습 데이터를 수집하고 기계에 먹이는(feed) 행위 자체를 주도적이고 의도적인 인간의 예술 창작 행위로 격상시켜 조명함.
• 갤러리 공간 내에서의 의도적인 모델 훈련(Training) 실험
  • 예술가가 미디어를 생산하는 행위를, 기계 모델을 훈련시키기 위한 의도적 행위로 전환함.
  • 갤러리 내부에서 방대한 훈련 작업을 직접 수행하며, 이때 생성되는 데이터를 향후 수십 년간 미래의 모델들을 훈련시킬 '정신적 자식(mind children)'이라고 명명함.
• 예술 작품의 존재론적 상태(Status of the Artwork) 변화
  • 전통적인 예술에서의 완성된 물리적 조각이나 회화가 아닌, 무한한 매체의 예술 작품을 무한히 생성할 수 있는 '모델(Model)' 자체가 예술 작품이 됨.
  • 예술 작품은 더 이상 완성된 상태로 종결되지 않으며, 지속적인 생성과 변화의 궤도에 진입함.

AI 시대의 새로운 예술 경제와 데이터 주권(Spawning)

• 새로운 지배구조(Governance) 및 경제 시스템의 모색
  • 모델이 무한한 작품을 생성하는 환경에서는 예술 기관과 창작자 사이에 전혀 새로운 지배구조가 요구됨.
  • 서펜타인의 '미래 예술 생태계(Future Art Ecosystem)' 팀과 협력하여, 특정 모델 구축을 목적으로 유사한 데이터를 가진 주체들을 묶어 가치를 창출하는 '데이터 신탁(Data Trust)'의 개념과 운영 방식을 연구함.
• 자율적인 기술 인프라(Protocol) 구축 및 동의 메커니즘
  • 거대 기술 기업의 코드나 인프라에 의존하지 않고, 다른 사람들도 개방형 프로토콜(open protocol)로 사용할 수 있는 독자적인 인프라를 직접 구축함.
  • 의미 있는 데이터 경제가 작동하기 위해서는 데이터를 보호하는 가드레일(guardrails)과 동의(opt-in) 시스템이 필수적임.
  • "정보는 자유롭기를 원하지만, 동시에 비싸고 보상받기를 원한다"는 관점을 견지함.
• 스타트업 스포닝(Spawning) 설립과 'Have I Been Trained'
  • 대규모 AI 모델의 데이터 수집(ingestion)으로 인한 윤리적, 경제적 문제를 선제적으로 인식하고, 이를 해결할 기구가 부재하다는 판단하에 직접 회사 스포닝(Spawning)을 설립함.
  • 창작자가 자신의 저작물, 이미지, 데이터가 AI 훈련에 무단 사용되었는지 검색할 수 있는 웹사이트(haveibeentrained.com)를 런칭하여 대중화시킴.
  • 데이터를 사적으로 이용하거나 자체 모델 개발에 쓰고자 하는 창작자들을 위해 훈련 거부권(consent claims)을 행사할 수 있는 프로토콜을 도입함.
  • 이 프로토콜은 AI 업계에서 전례 없는 규모인 20억 개 이상의 미디어에 적용되었으며, 허깅페이스(Hugging Face), 스태빌리티 AI(Stability AI) 등의 유럽 기반 거대 기업들도 이 동의 프로토콜을 채택하게 만듦.

분류된 초상화(Classified)와 잠재 공간(Latent Space) 내의 본질

• 오픈AI(OpenAI) 모델을 활용한 'Classified' 프로젝트
  • 인공신경망 내부의 임베딩(Embedding) 구조를 시각적으로 탐구하여 컴퓨터 생성 이미지로 초상화를 제작한 프로젝트임.
• 임베딩(Embedding) 개념에 대한 직관적인 비유
  • 피레네 산맥의 오푸스 데이(Opus Dei) 전시에서 목격한 전 세계 성모 마리아상(카메룬, 에스토니아 등)에 비유하여 설명함.
  • 지역마다 성모 마리아상의 재질이나 물리적 형태는 완전히 다르지만, 관람자는 직관적으로 '마리아다움(Mary-ness)'을 인지하게 됨.
  • 이와 마찬가지로 임베딩은 AI의 잠재 공간(latent space) 내에 존재하는 특정 개념이나 인물의 에센스(essence)를 의미함.
  • 인터넷에 홀리 허든의 이미지가 충분히 태그되어 있으므로, 잠재 공간 어딘가에는 '홀리의 본질'에 해당하는 임베딩이 존재함.
• 잠재 공간 내의 자기 결정권(Self-determination) 실험
  • 기술을 통해 단순히 초상화를 재현하는 것을 넘어, 임베딩 자체를 조작(manipulate)하고 변화시킬 수 있는지에 대한 실험을 1년 넘게 진행 중임.
  • AI 안전(safety) 전문가들이 모델 내의 허위 정보나 정보 왜곡을 우려하는 것과는 다른 각도에서 접근함.
  • 인간이 물리적이고 육체적인 표상에만 얽매여야 하는가, 아니면 디지털 생태계 내에서 자신이 누구인지를 스스로 결정하고 구축(자기 결정권)할 수 있는가에 대한 철학적 질문을 던짐.

홀리 플러스(Holly+): 보컬 딥페이크와 허용적 지적재산권(Permissive IP)

• 보컬 디지털 트윈(Digital Twin) 'Holly+'의 탄생과 의미
  • 음성에 대한 머신러닝 기술을 접한 직후, 자신의 음색적 발자국(timbral footprint)을 컴퓨터 모델화하는 데 착수함.
  • 파트너인 맷(Matt)이 홀리의 보이스 모델을 사용해 영국식 억양으로 노래하는 순간, 새로운 퍼포먼스의 지평이 열렸음을 깨달음.
  • 기존의 딱딱한 지적재산권(IP, Intellectual Property) 개념을 '정체성 유희(IP, Identity Play)'로 재정의함.
  • 유연한 정체성을 바탕으로 타인이 예술가의 정체성을 통과하여 공연하고 자아를 변이(mutation)시키는 새로운 통로를 개척함.
• 혁신적인 수익 분배 프로토콜의 실험
  • 홀리 허든의 목소리로 노래할 수 있는 기계 모델을 대중에게 무료로 개방하고, 이를 사용하여 창출된 모든 미디어의 수익을 50 대 50으로 자동 분배하는 실험적 프로토콜을 도입함.
  • 이는 수년이 지난 현재 유튜브(YouTube)를 비롯한 거대 플랫폼과 여타 아티스트들이 채택하고 있는 2차 창작 수익 분배 모델(Content ID 기반)의 선구적인 모델이 됨.
• 목소리의 공동체성(Communal)과 지적재산권의 한계
  • 목소리는 타인의 말투와 방언을 모방하며 습득되는 본질적으로 '공동체적인 기관(communal organ)'임.
  • 개인의 내면과 공동체의 외부 경계가 가장 모호해지는 매체이기 때문에 AI 시대의 정체성을 실험하기에 최적화되어 있음.
  • 현재 법적으로 음성 자체는 저작권(Copyright)의 대상이 아니며, 퍼블리시티권(Publicity Rights) 등의 우회적 방식으로만 보호되고 있는 맹점이 있음.
• 허용적 지적재산권(Permissive IP) 패러다임의 제안
  • 과거의 인터넷 초창기 저작권 선례나 경직된 법망에 얽매여 새로운 기술적 상상력을 제한하는 현 상황을 비판함.
  • 트랜스포머(Transformer) 기술 등 21세기에 새롭게 등장한 컴퓨팅 스택(stack)의 작동 방식을 온전히 소화하는 전혀 새로운 IP 기준이 요구됨.
  • 모든 정보가 완전 무료여야 한다는 정보의 해방 이데올로기를 피하면서도, 창작물의 기원(seed)을 보호하고 다수의 자유로운 실험을 보장하는 '허용적 지적재산권(Permissive IP)' 체계의 확립을 촉구함.

상호의존성(Interdependence) 팟캐스트와 능동적 낙관주의

• 팟캐스트의 기획 배경과 문화적 기여
  • 코로나19 펜데믹으로 인해 뮤지션으로서의 투어가 중단되면서, 투어 도중 나누던 깊고 지적인 대화에 대한 갈증을 해소하기 위해 시작함.
  • 에마드 모스타크(Emad Mostaque)와 같은 핵심 기술자나 괴짜(nerd) 아티스트들을 가장 먼저 발굴하여 심도 있는 대화를 나누고 기록하는 매체로 자리 잡음.
  • 사적인 토론을 공론화함으로써, 자신들의 예술적, 기술적 프로젝트의 배경 맥락(context)을 사회적으로 구축함.
• 거대한 변화 앞에서의 낙관주의(Optimism)
  • 이들의 낙관주의는 모든 것이 아무 문제 없이 흘러갈 것이라는 순진하고 몽매한 희망이 아님.
  • 21세기에 특화된 전혀 새로운 기술적, 윤리적 도전 과제들 앞에서, 시대를 역행(retrograde)하거나 방관하지 않고 끊임없이 전진하기 위해서는 능동적인 낙관주의 외에는 대안이 없음을 단호히 밝힘.

미실현 프로젝트(Unrealized Projects): 공간화된 프로토콜과 새로운 IP의 꿈

• 기술적 프로토콜의 물리적 공간화(Spatialization)
  • 10여 년 전부터 코드로 짜여진 디지털 프로토콜을 물리적 건축 공간에 완전히 내장(embedding)하여 작동시키는 아이디어를 구상해 옴.
  • 기존의 '자동화된 공간'이 지닌 디스토피아적이고 통제적인 이미지에서 벗어나, 새로운 미학적 가능성을 탐구하고자 함.
  • 현재 기획 중인 서펜타인 갤러리 전시를 통해 이 오랜 기획을 일부 현실화하고 있음.
• 새로운 기계 학습 데이터 윤리와 IP의 확립
  • 두 사람이 가장 열망하는 궁극적인 미실현 프로젝트는 인공지능 기계 학습의 데이터 훈련과 저작권에 대한 새로운 '표준(Standards)'과 '에티켓(Etiquette)'을 사회 전반에 안착시키는 것임.
  • 이 거대한 구조적 목표가 완벽하게 자신들이 구상한 대로 100% 실현되지는 않더라도, 인류의 거대한 기술적 궤적(ship)을 올바르고 윤리적인 방향으로 조금이라도 틀기 위해 끝까지 노력할 것임을 선언함.