AI 기술 발전 속 탄생한 ‘디지털 휴먼’...외모와 음성은 물론 사고와 표정까지 [지식용어]

시선뉴스=심재민 기자 / 디자인=김선희 pro | 세상에 없는 사람을 다시 되돌리는 일, 실제 세상에서는 불가능한 일이지만 AI가 만드는 가상공간에서는 가능한 일이 되었다. 실제 많은 기업에서 개발했고, 개발 중인 ‘디지털 휴먼’ 기술이 이러한 일을 가능하게 만들고 그 정교함 역시 나날이 발전하고 있다. 

디지털 휴먼은 AI 휴먼, 버츄얼 휴먼 등으로도 불리며 소프트웨어로 만든 가상의 인간을 의미한다. 디지털 휴먼은 잘 알려진 딥페이크(deepfake) 기술 또는 다른 모델링 기법을 활용해 만들어진다. 보통 가상의 3D 모델링으로 ‘휴먼’의 모양새를 만들고 성우 또는 학습된 목소리를 합성해 디지털 휴먼을 완성하는 식이다. 보통 가상 속에서 아나운서, 안내원, 광고 모델 등을 대체하기 위한 아바타 역할에 사용되고, 최근에는 유명인을 추모하기 위해 이용되기도 한다. 

2022년 우리의 곁을 떠난 故 송해가 최근 방송에 나와 그를 향한 그리움을 달랬다. 고인의 외모는 물론 목소리와 말투, 행동까지 그대로 학습시켜 디지털 휴먼으로 만든 ‘송해’가 JTBC에서 방영 중인 토·일 드리마 <웰컴투 삼달리> 1화에 출연한 것. 딥페이크 기술로 디지털 휴먼을 만들어 선보인 것으로 1990년대 그가 MC를 보던 ‘전국노래자랑’ 영상을 모아 AI를 학습시켰고, 촬영 현장 즉 실제 세계에서 대역배우가 행동을 연기하면, 학습된 송해의 얼굴과 목소리 말투 등을 구현해 입힌 것이다. 

이 같은 디지털 휴먼 기술을 이용해 고인을 추모하고 그리움을 달라는 프로젝트는 이번이 처음이 아니다. 지난 2022년에는 JTBC '얼라이브’'에서 그룹 울랄라쎄션의 멤버 故 임윤택이 디지털 휴먼으로 등장, 공연을 펼치며 가족과 팬들을 눈물짓게 했고, 또 지난해 1월에는 tvN ‘회장님네 사람들’에서 배우 故 박윤배를 디지털 휴먼으로 만들어 그가 열연했던 ‘전원일기’ 배우들과 대화를 나누는 모습을 선보이며 감동을 선사하기도 했다. 

이러한 디지털 휴먼 기술이 AI의 고도화에 따라 영역과 기능을 넓히며, 점점 인간화 되어 직접 사고하고 의견도 내놓을 수도 있는, 진정한 의미의 ‘가상 인간’이 곧 탄생할 수도 있을 것으로 보인다. 그 대표적인 행보는 글로벌 디지털 기업인 ‘엔비디아’에서 뚜렷하게 보이고 있다. 

“안녕, 다이애나라고 해. 난 엔비디아 옴니버스 생성형 인공지능(AI) 기술의 최신 업데이트 버전이고, 최근 중국어 실력을 확 높였어.” 엔비디아가 구현한 디지털 휴먼 ‘다이애나’가 말한 것처럼, 사고는 물론 언어 능력을 대폭 높였다. 그는(?) 디지털 휴먼은 얼굴 근육을 자유자재로 움직여 환하게 웃기도 하며 4개 이상의 다국어를 구사하는 동시에 감정을 표현할 수도 있다. 실시간 통역에 감정이 표정에 실려 인간과 하듯 대화가 부드럽게 이어져 놀라움을 샀다. 

GPU(그래픽처리장치)뿐만 아니라 AI 가속기 시장에서도 90% 이상의 점유율을 독식하고 있는 엔비디아는 디지털 휴먼 등 AI 기술 개발에 열을 올리고 있다. 대표적으로 디지털 콘텐츠 제작 전문 기업 이브이알스튜디오를 '엔비디아 인셉션(NVIDIA Inception)' 파트너로 선정 본격 가도에 들어섰다. 엔비디아 인셉션은 인공지능(AI), 데이터 사이언스, 옴니버스 및 다양한 분야의 혁신을 일으키는 스타트업을 지원하는 프로그램으로, 파트너로 선정된 이브이알은 지난해 8월 세계 최대 컴퓨터 그래픽 컨퍼런스 '시그라프(SIGGRAPH)' 테크 세션에서 '게임, 영화 시각특수효과(VFX) 및 AI를 위한 디지털 휴먼 제작 기술 및 적용'을 주제로 디지털 휴먼 제작을 위한 자체 개발 기술을 소개한 바 있다. 

당시 이브이알은 컨퍼런스에서 차세대 디지털 휴먼 프로젝트 '에덴(Eden)'을 최초로 공개하며 엔비디아 및 여러 글로벌 ai 업체들의 관심을 받았는데, 프로젝트 에덴은 3차원(3D) 볼륨메트릭캡처(Volumetric Capture) 기술과 오디오 투 페이스(Audio to Face) AI 모델을 이용해 국내외 유명인의 고유한 표정과 목소리를 극사실적으로 구현한 디지털 휴먼을 생성하는데 포커스를 맞추고 있다.

이처럼 다방면에서 활용될 ‘디지털 휴먼’의 개발과 출시가 이어지고 있는 상황. 관련된 기술의 발전이 또 어떤 새로운 결과물을 낳을지 기대가 모아지고 있다. 단, AI와 로봇 관련 다양한 우려와 과제는 여전한 만큼 기업은 물론 관계 기관들의 윤리적이고 도덕적인 개발이 이어져야 할 것이다.