[샷!] 또 속았다 | 연합뉴스

딥페이크 정치인 영상, 조회수 100만회 훌쩍

실제 가수 사칭한 AI 가짜 음반도 등장

‘진짜 같은’ AI 영상·음원 범람…”무섭다”

“진짜인지 의심부터 하는 새로운 문해력 길러야”

이미지 확대

(서울=연합뉴스) 최혜정 인턴기자 = ## 윤석열 전 대통령이 단상에 서서 “제가 계엄을 선포한 진짜 이유는 여러분이 제가 보낸 릴스를 보지 않았기 때문입니다. 지금이라도 확인하고 답장하십시오. 마지막 기회입니다”라고 말한다.

지난 12일 인스타그램에 올라온 ‘뒤늦게 밝혀진 계엄의 진짜 이유’라는 제목의 릴스 영상이다. 업로드 13일 만에 조회 수 117만 회를 넘겼다.

같은 계정에 이재명 대통령을 합성한 영상도 올라왔다.

“릴스를 지금 당장 확인하십시오. 제가 보낸 릴스를 지속적으로 읽지 않은 채로 유지하시는데 제가 그걸 모를 거라고 생각하십니까. 마지막 기회입니다. 지금 답장하십시오”라는 발언이 담겼고, 이 역시 100만 회 이상 클릭 됐다.

물론 가짜다.

해당 영상을 올린 채널의 소개란에 따르면, 모두 인공지능(AI) 비디오 제작 툴 ‘canny’로 만들었다. 영상 설명란에도 ‘AI 생성 영상입니다’라는 문구가 적혀 있다.

그럼에도 “와, 똑같아. AI 무섭다”(인스타그램 이용자 ‘yun***’), “진짜인 줄…”(‘yan***’), “이거 왜 이렇게 자연스러워”(‘zze***’), “기술 봐라”(‘gal***’) 등 놀라움을 표하는 댓글이 쏟아졌다.

직장인 김모(25) 씨는 29일 “친구가 보내 줘서 봤는데 처음엔 진짜인 줄 알고 놀랐다”며 “AI 기술이 무섭게 발전하고 있다는 것을 느꼈다”고 말했다.

소셜미디어(SNS)를 중심으로 확산하는 AI 영상과 음악이 날로 정교해지면서 이용자들을 혼란에 빠트리고 있다. 재미를 넘어 가짜 뉴스·사기 등 범죄 악용 위험성이 커지고 있다.

이미지 확대

AI 영상은 특히 재난 상황이나 선거철에 큰 혼란을 야기할 수 있다.

러브버그가 기승을 부리던 지난 7월 초 참새가 러브버그를 쪼아먹는 AI 영상을 실제 장면으로 오인한 일부 방송사가 ‘천적이 등장했다’는 오보를 낸 바 있다.

또 ‘7월 일본 대지진설’이 퍼진 가운데 거대한 파도가 일본 섬을 강타하는 지진해일 영상도 확산했다. 항공 촬영 영상으로 ‘일본 쓰나미, 일본을 위해 기도하자'(tsunami in japan, prayer for japan)라는 문구가 적힌 해당 영상은 170개가 넘는 페이스북 페이지에 퍼지는 등 화제를 모았으나, 역시 AI로 조작된 허위 영상이었다고 AFP 통신은 보도했다.

앞서 지난 1월 중국 서부 시짱(西藏·티베트)자치구에서 규모 7.1 지진이 발생하자 중국 소셜미디어에는 지진 잔해에 깔린 어린아이의 사진이 다수 공유됐다. 그러나 중국 경찰에 따르면 이 사진은 조작된 AI 합성 이미지였다.

이미지 확대

지난 6월 대선을 앞두고도 대선 후보들의 얼굴과 음성을 조작한 AI 영상이 속속 올라왔다. 후보자가 “개가 짖냐”라거나 “계엄을 할 것”이라고 말하는 가짜 영상들이다.

중앙선거관리위원회에 따르면, 후보자가 죄수복을 입고 감옥 안에 갇힌 이미지나 AI로 구현한 여성 아나운서를 이용해 뉴스 형식으로 후보자의 당선 또는 낙선을 도모하는 내용의 영상이 업로드되기도 했다.

이러한 AI 영상은 현실과 구분하기 어려워 혼란을 일으킨다.

대학생 이준상(22) 씨는 “옛날에는 AI로 만들었는지 아닌지 쉽게 구별했는데 이제는 진짜 어려워졌다”며 “AI로 만든 영상인 줄 모르고 과제에 사용했다가 곤란을 겪은 적도 있다”고 밝혔다.

이미지 확대

AI가 만든 음악도 사람들을 헛갈리게 한다.

유튜브에 ‘AI 노래’를 검색하면 AI로 만든 음악을 모아둔 플레이리스트 영상이 수십 개 나온다.

관련 영상 댓글에는 “곡도 AI인가요? 헐”(유튜브 이용자 ‘꽁지머***’), “이게 다 AI가 부르는 거예요? 진짜로?”(‘luc***’), “무섭네요. 인간 목소리…일단 좋긴 좋은데”(‘반성없***’) 같은 반응이 이어졌다.

급기야 AI가 만든 가짜 음반이 실제 가수의 이름을 걸고 주요 플랫폼에 유통되는 사례도 발생했다.

지난 23일(현지시간) 영국 BBC 방송에 따르면, 가수 에일리 포트먼은 음원 사이트에서 자신의 이름으로 등록된 음반 ‘오르카'(Orca)를 발견하고 충격을 받았다. 본인이 발매한 음반이 아니었기 때문이다.

포트먼은 “명백히 AI로 생성된 것이지만, 내 음악을 영리하게 학습한 것 같았다”고 말했다.

음악가 조시 코프먼과 고인이 된 가수 블레이즈 폴리의 이름을 도용한 AI 신곡도 올라온 것으로 확인됐다.

앞서 지난해 전남교육청 글로컬 미래교육박람회 주제곡 공모전에서는 AI 프로그램으로 만든 노래 ‘세상에 소리쳐! 글로컬!’이 최우수작으로 뽑혀 논란이 됐다. 심사위원들조차 AI 작품임을 알아채지 못했던 것으로 알려졌다.

전남교육청은 공모 조건에 AI를 사용하지 말라는 내용이 없고, 해당 곡이 박람회 주제를 잘 담고 있다고 판단해 해당 곡을 최우수작으로 선정했다.

이미지 확대

이런 가운데 특정 가수 목소리를 입힌 AI 커버곡이 인기를 끌기도 한다.

딘 목소리로 노래 ‘뉴진스’를 커버한 AI 영상은 25일 기준 500만 조회수를 넘겼다.

해당 영상에는 “AI에 대한 인식 부정적이었는데 색다르게 보이기 시작하네…괜찮은 건가 싶으면서도 참 좋단 말이지”(유튜브 이용자 ‘BAK***’), “이렇게 들으니까 진짜 앨범에 있을 것 같다”(‘하나-***’), “위기감 느끼는데 이렇게라도 딘 목소리로 노래 듣는 게 반가워서 좋다”(‘김**’), “진짜 딘 같아서 계속 듣게 됨”(‘김경***’) 등의 반응이 이어졌다.

이미지 확대

AI 제작 툴이 나날이 발전하면서 ‘AI 티가 나지 않는’ 콘텐츠가 갈수록 많아지고 있는 것이 혼란을 부추긴다.

세계적으로 대유행한 ‘지프리풍 프사’가 창작자에 대한 모독이라는 지적을 받았지만 누가봐도 ‘AI 제작’임을 알 수 있었다면, 최근 유행하는 AI 생성 프로그램 ‘나노바나나’는 남다른 현실적인 이미지 구현으로 인기를 얻고 있다.

실제로 기자가 나노바나나에 방송인 유재석 사진과 함께 ‘3D 피규어를 만들어 줘’라는 명령어를 입력하자 약 20초 만에 시중의 피규어를 찍은 듯한 가상의 이미지가 생성됐다.

이미지 확대

한국형사·법무정책연구원에 따르면 딥페이크 관련 경찰 신고는 2021년 156건에서 지난해 964건으로 6배 이상 늘었다.

정부는 AI 영상에 ‘워터마크’를 의무적으로 표기하는 ‘AI 기본법’을 내년 1월 22일부터 시행한다.

그러나 실효성에 대한 우려도 제기된다.

김덕진 세종사이버대 AI컴퓨터공학과 교수는 “임의로 사용자가 워터마크를 삭제할 가능성을 배제할 수 없다”며 “해당 법으로 100% 피해를 막을 수 있다고 단언하기엔 무리”라고 지적했다.

전문가들은 디지털 리터러시 역량(디지털 기기를 활용해 원하는 작업을 실행하고 필요한 정보를 얻을 수 있는 지식과 능력)을 기르는 것이 중요하다고 입을 모은다.

최용석 한양대 소프트웨어대학장은 “워터마크 표기 의무화는 생성형 AI 오남용을 제재하는 최소한의 안전장치일 뿐”이라며 “궁극적으로는 개개인이 생성형 AI 결과물을 분별하는 능력을 길러야 한다”고 짚었다.

최병호 고려대 AI연구소 교수 역시 “AI 콘텐츠가 개인이 육안으로 진위 여부를 식별하기 어려운 방향으로 발전하고 있기에 피해가 급증할 수밖에 없다”며 “콘텐츠가 진짜인지 의심부터 하는 새로운 문해력을 기르는 것이 필요하다”고 제언했다.

haemong@yna.co.kr

제보는 카카오톡 okjebo

<저작권자(c) 연합뉴스,
무단 전재-재배포, AI 학습 및 활용 금지>

2025/08/30 05:50 송고
2025년08월30일 05시50분 송고