딥페이크(Deepfake) 기술은 영상효과 및 AR, VR 제작에 사용되면서 새로운 산업 발전으로 기대를 모으고 있지만 가짜 영상으로 범죄에 이용되는 등 우려의 시선도 함께 받고 있다. 기대의 시선이든 우려의 시선이든 첨단 기술로 관심 받는 딥페이크 기술에 대해 알아보면서 여러 사례에 대한 분석과 향후 진행 방향에 대해서 진단해 본다.
보여줘야 믿을 수 있다? 이젠 보여줘도 믿을 수 없다!
우리는 종종 어떤 사안에 대해 “보여줘 봐” 혹은 “증거를 보여줘”라고 말한다. 그리고 이때 방송이나 유튜브 영상을 보여주면 별 의심 없이 믿곤 한다. 이는 인간이 외부와 접촉할 때 사용하는 감각의 비율이 시각적 정보 80%, 청각적 정보 10%, 나머지 정보가 10% 정도이기 때문이다. 따라서 시각과 청각을 포함하는 영상 정보일 경우 거의 90% 감각으로 느끼는 정보이기에 본능적으로 신뢰도가 높을 수밖에 없는 것이다.
그러나 영상 이미지도 신뢰를 위협받는 시대가 되었다. 바로 딥페이크(Deepfake) 기술의 등장 때문이다. 딥페이크 기술은 원래의 영상과 오디오를 인공지능(AI : Artificial Intelligence) 기술을 사용하여 다른 사람 얼굴 표정과 다른 사람 목소리로 합성 및 대체하여 조작하는 것을 말한다. 그렇게 딥페이크 영상을 합성하기 위해서 인공지능 프로그램은 수천 개의 이미지 패턴을 식별하고 재구성하는 학습을 수행한다. 그 학습이 정교하고 완벽할수록 우리가 보는 딥페이크 처리 영상은 원래 사람 모습과 구분이 어려워진다.
딥페이크 기술은 어떻게 발전되어 왔을까
2017년 ‘Deepfakes’라는 아이디 사용자가 인공지능 기계학습(Learning Machine) 오픈 소스 프로그램 텐서플로우 라이브러리를 활용하여 유명 연예인과 포르노 영상을 합성했다. 그는 미국 대형 온라인 커뮤니티인 ‘레딧’에 해당 포르노 영상을 올렸고, 이 영상이 딥페이크의 시초로 여겨진다.
이후 딥페이크 기술은 우리가 익히 알고 있는 유명한 영화 스타워즈 시리즈에서 이미 고인이 된 배우 캐리 피셔를 극 중 배역 레아 공주의 젊은 시절 모습으로 등장시켜 스타워즈 팬들에게 감동을 주었다. 그리고 ‘아이언맨 톰 크루즈’라는 영상도 공개되어 많은 관심을 받았는데, 영화 어벤져스 아이언맨 얼굴에 톰 크루즈 얼굴과 목소리를 합성한 것으로 실제 톰 크루즈가 연기하는 것과 구분하기가 어려울 정도였다.
이렇듯 딥페이크 기술은 특수한 환경에서 사용되는 것으로만 생각될 수 있으나 ‘FakeApp’이라는 무료 프로그램이 배포되면서 프로그램 전문가 수준이 아니더라도 손쉽게 딥페이크 영상을 만들 수 있게 되었다. 그리고 초기에는 딥페이크 영상을 만들기 위해 수천 장의 이미지가 필요했지만, 인공지능 기술 발전으로 단 한 장의 이미지를 가지고도 딥페이크 영상을 제작할 수 있는 수준에 이르렀다.
ⓒCollider Extras 유튜브 DeepFake Theater ‘Tom Cruise as Iron Man in the MCU’ 캡처
TV 광고에서 강호동 같은 친숙한 연예인의 딥페이크 영상이 방송되는 것처럼 영화, 음반, 마케팅 등 다양한 분야에서 이미 딥페이크 기술이 활용되고 있다. 그러나 조작 포르노, 가짜 뉴스 등의 부작용도 빠른 속도로 사회 문제가 되고 있다.
딥페이크 기술의 우려되는 방향
인터넷 확산에 가장 앞장서서 기여를 한 것이 포르노 사이트이고, 딥페이크 기술의 시작이 포르노 합성인 것처럼 가장 먼저 그리고 가장 많이 악용되는 사례는 딥페이크 포르노 분야이다. 네덜란드 사이버 보안 연구회사인 ‘딥트레이스’의 2019년 보고서 ‘더 스테이스 오브 딥페이크’에 따르면 전 세계 딥페이크 영상 14,698개 가운데 96%가 음란물이며 그 영상에 등장하는 얼굴 중 영미권 배우가 53%이고 그다음으로 많은 것이 25%를 차지한 한국 아이돌이라고 한다.
악용된 딥페이크 영상으로 유명 배우나 연예인만 피해를 보는 것은 아니다. 2018년 미국의 한 온라인 매체인 ‘버즈피드(BuzzFeed)’에 올라온 오바마 미국 전 대통령 영상은 해외 토픽 뉴스에서 많이 다루어졌는데, 딥페이크 가짜 뉴스의 위험성을 알리기 위해 제작한 영상으로 실제 모습과 거의 구분이 불가능한 수준의 것이었다. 텍스트 형태의 가짜 뉴스도 엄청난 사회적 문제가 되고 있는 현실에서 딥페이크 가짜 뉴스 영상의 파급력은 훨씬 더 심각할 것으로 여겨진다. 중요한 정치적 선거에 영향을 미치거나 사회적 불안을 일으키는 심리전에 이용될 수도 있고 불법 증거를 조작하는 범죄에 이용될 가능성도 무시할 수 없다.
그나마 다행인 것은 마이크로소프트와 인텔 같은 IT 회사들이 딥페이크를 탐지하는 방법을 연구했다는 점이다. 탐지는 일반적으로 AI를 사용하는 딥페이크가 모방하기 힘든 영상 세부 정보를 분석하여 비정상적인 눈 깜빡임이나 안면 근육 움직임 등을 찾아내는 방식이다. 또한 페이스북 회사 메타와 아마존은 MIT, 옥스퍼드, 코넬 대학 등 전 세계 인공지능 전문가들과 함께 딥페이크 감지 기술 경연 대회 Deepfake Detection Challenge(DFDC)를 개최했고, 구글과 트위터도 조작된 콘텐츠를 공유하지 못하게 하거나 딥페이크 감지 기술 연구를 지원하는 정책을 펴고 있다.
딥페이크 기술은 어떻게 될 것인가
딥페이크 기술은 앞에서 서술했던 고인의 영상을 합성하는 콘텐츠 제작 등 영상 콘텐츠 및 마케팅 사업에 많은 활용이 예상된다. 뿐만 아니라 의료계에도 그 기술이 적용되고 있다. 2019년 독일 뤼벡대 의료정보학 연구소에서는 인공지능의 한 분야인 딥러닝(Deep Learning) 알고리즘으로 질병 진단용 인공지능을 개발했다. 이러한 인공지능을 학습시키기 위해서는 많은 학습용 데이터가 확보돼야 한다. 하지만 환자의 사생활 침해에 대한 우려와 높은 단가의 의료용 3D 이미지 제작 비용 문제로 딥페이크 기술을 도입했다. 딥페이크 프로그램으로 원본 영상과 매우 흡사한 정확도를 가진 딥페이크 의료영상을 만들고 이를 질병 진단용 인공지능 학습에 활용한 것이다.
딥페이크 기술은 AR·VR 콘텐츠 사업에도 활용된다. 그 예로 미국 플로리다의 화가 Dali 박물관은 미국 광고사 Goodby, Silverstein & Partners와 협업하여 작고한 예술가를 딥페이크로 되살려냈다. 화가 Dali와 신체적으로 비슷한 대역 배우를 섭외하고 비슷한 목소리 대역도 섭외한 후 Dali의 얼굴을 딥페이크 기술로 합성한 것이다. 박물관 방문객들은 키오스크 속의 Dali와 함께 사진 찍고 대화하는 등 Dali의 안내를 받으며 작품을 감상할 수 있다.
국내 한 스타트업 회사는 인물 촬영 업무를 대신하게 하는 방법으로 딥페이크 기술을 활용했다. 특정 인물의 영상을 촬영하기 위해서는 기획, 섭외, 스케줄링 등 사전 작업과 촬영을 진행한 이후에도 마스터링, 자막, 렌더링 정리 작업을 해야 하는데 이 모든 작업을 사람이 직접 하면 많은 시간과 자원이 소요된다. 혹시나 촬영 중 일부가 잘못된 경우에는 다시 이 과정을 되풀이하여 수정 촬영해야 한다. 그러나 인공지능 딥페이크 영상생성 기술과 음성생성 기술을 활용하여 1시간 정도 그 인물의 자료를 학습시킨다면, 음색, 표정, 발화 속도 등을 모사하는 영상 제작이 가능해서 이후에는 텍스트만 입력해도 해당 인물이 이야기하는 영상을 만들어 낼 수 있다. 러닝타임 10분 영상을 제작한다고 할 때 촬영 진행과 편집을 위해 4명 이상의 인력과 4시간 이상의 제작 시간이 필요했지만, 딥페이크 기술을 이용하면 실제 촬영을 진행하지 않고도 한 사람이 10분이면 영상을 제작할 수 있다고 한다.
미국의 정보 기술 연구 및 자문 회사 가트너(Gartner, Inc.)는 향후 몇 년 동안 인공지능(AI)기술이 사회에 미치는 영향을 예측한 2021년 연구 보고서를 발표했다. 이 보고서는 인공지능이 개인 정보 보호와 진실에 미치는 영향에 대해 우려를 표명하고 있으며 기업과 정부는 이러한 우려에 신속하게 대응할 준비를 해야 한다고 했다. 앞으로 암호화 디지털 서명으로 인증되지 않은 어떠한 것도 신뢰할 수 없을 것이라는 예측은 인공지능 딥페이크 기술의 잠재적인 오남용에 대해 많은 생각을 가지게 한다.
그럼에도 앞으로 딥페이크 기술은 더욱 발전하고 보편화될 것이며 산업현장에서 혹은 일반 생활에서 빈번하고 밀접하게 이용될 것이다. 모든 과학 기술 발전의 역사가 그러했듯이 개인은 물론, 사회 전반에 좋은 영향과 나쁜 영향을 미칠 수 있는 가능성을 가지고 있다. 이 나쁜 영향을 우려해서 기술 발전을 저해한다는 것은 할 수도 없고 해서도 안 될 일이다. 새로운 기술을 좋은 방향으로 발전시키는 것은 우리 사회가 감당해야 할 몫이고 딥페이크 기술도 또 하나의 과제인 것이다.
글 조민수 (IT/Science/Business 칼럼니스트)
2022.11.15
