REFOG Blog Login

십 대를 위한 AI 위험: 딥페이크, AI 컴패니언, 그리고 합성 조작

AI는 십 대를 위협하는 새로운 위험을 만든 것이 아니라 — 오래된 위험을 산업화했습니다. 걱정하는 부모를 위한 딥페이크, AI 섹스토션, 컴패니언 챗봇에 관한 차분하고 근거 기반의 가이드.

2026년 5월 11일 · 24 분 읽기 · 글쓴이 REFOG Team
동일한 두 장의 접힌 종이 양식 — 오른쪽은 흐릿하게 두 겹의 잔상이 보이는 모습
지금 자녀가 노골적인 이미지로 협박받고 있다면 — 진짜이든 AI로 만든 것이든: 돈을 지불하지 마시고, 기프트 카드를 사지 마시며, 암호화폐를 보내지 마십시오. 무엇보다 먼저 증거를 보존하십시오 — 그 이미지, 계정, 사용자명, 모든 메시지를 무엇이든 삭제하거나 차단하기 전에 스크린샷으로 남기십시오. 그런 다음 아동 보호 기관에 신고하십시오 — 미국에서는 NCMEC CyberTipline — 그리고 추가 공유를 제한하기 위해 Take It Down을 이용하십시오. 그 이미지가 진짜이든 합성이든 이 단계들은 달라지지 않습니다. 자세한 안내는 아래 AI 학대 신고에 있습니다.

딥페이크란 무엇이며, 얼마나 쉬워졌는가

지난 10년 대부분의 기간 동안, 온라인에서 십 대 자녀를 걱정하던 부모에게는 대체로 들어맞는 멘탈 모델이 있었습니다 — 낯선 사람이 자신이 누구인지에 대해 거짓말할 수 있고, 실제 사진이 동의 없이 공유될 수 있으며, 실제 대화가 왜곡될 수 있다는 것. 위협은 심각했지만, 그것들은 모두 실제 재료 위에서 작동했습니다. 인공지능이 바꾼 것은 위험의 목록이 아닙니다. 원재료의 공급입니다. 위협들은 더 이상 시작점에 실제 무언가가 필요 없습니다.

딥페이크는 인공지능이 만들거나 변형한 합성 미디어 — 이미지, 영상, 또는 오디오 클립 — 로, 실제 사람이 한 적 없는 일을 하거나 한 적 없는 말을 한 것처럼 그럴듯하게 보여줍니다. 이 단어는 다른 몸에 갖다 붙인 얼굴, 짧은 녹음에서 복제된 음성, 그리고 누구의 것도 아닌 얼굴까지 모두 포괄합니다. 이들을 하나로 묶는 것은, 결과물이 믿을 만큼 진짜처럼 보인다는 점, 그리고 이제 그것을 만드는 데 스튜디오와 전문가가 아니라 소비자용 앱과 몇 분이면 충분하다는 점입니다.

딥페이크가 만들어지는 과정1수집평범한 공개 사진 —학교 사진, SNS 게시물,영상의 한 장면. 노골적인것은 전혀 필요 없습니다.2생성소비자용 AI 도구가 얼굴이나음성을 새 콘텐츠 위에 입힙니다— 특별한 기술 없이도몇 분이면 됩니다.3무기화합성 이미지나 영상이괴롭힘, 협박, 사기 통화에쓰입니다. 피해는 실제입니다.
딥페이크는 평범한 재료로부터 만들어집니다. 합성 콘텐츠가 존재하기 위해 십 대가 어떤 일도 한 적이 있을 필요가 없습니다 — 바로 그것이 옛 안심을 무용지물로 만드는 이유입니다.

이에 관해 부모에게 중요한 두 가지 사실이 있습니다. 첫째는 비용입니다 — 그럴듯한 합성 미디어를 만드는 일은 전문가의 작업에서 값싸고 빠른 클릭 한 번의 작업으로 무너져 내렸습니다. 둘째는 입력 자료입니다. 딥페이크는 시작할 때 사적이거나 약점이 될 만한 사진이 필요하지 않습니다. 필요한 것은 얼굴이 담긴 평범한 사진들뿐입니다 — 정확히 거의 모든 십 대가 이미 올렸거나, 졸업앨범이나 스포츠 명단, 친구의 피드에 등장한 그런 사진들입니다.

이 가이드의 나머지는 AI 위협을 모두 같은 방식으로 다룹니다 — 새롭고 알 수 없는 위험이 아니라, 부모가 이미 절반쯤 알고 있을 옛 위험에서 그것을 느리게 만들던 마찰이 제거된 형태로 말입니다. 각 위협이 무엇을 증폭시키는지 이해하면, 더 이상 신비롭지 않게 됩니다.

각 AI 위협이 증폭시키는 것AI 버전그것이 증폭시키는 옛 위험딥페이크 누드 이미지비동의 친밀 이미지이제 실제 사진은 필요 없습니다 — AI모델이 평범한 공개 사진으로 만들어냅니다.AI 기반 섹스토션섹스토션 협박이제 실제 이미지가 전혀 필요 없습니다 —협박 자료는 조작되어 만들어집니다.AI 컴패니언 챗봇러브 바밍이제 자동화되고 지치지 않으며, 제품에내장되어 있고, 끄는 스위치가 없습니다.AI로 만든 캣피시 페르소나캣피싱이제 훔친 사진이 필요 없습니다 — 가짜신원이 통째로 지어내집니다.AI 음성 복제사칭 사기 통화이제 듣는 이가 사랑하고 신뢰하는사람의 목소리로 말합니다.
이 가이드의 모든 AI 위협은 마찰이 제거된 옛 위험입니다. 그 패턴을 알아보면, 구체적인 도구는 훨씬 덜 중요해집니다.

딥페이크 누드와 「누디파이」 앱

어떤 표면 위에 놓인 종이 사진 카드, 인쇄된 얼굴이 뒷면에서 떨어져 나오고 있는 모습

이 위협들 가운데 가장 말하기 어려운 것은 동시에 가장 흔한 것이기도 하므로, 솔직하게 짚고 가는 편이 좋습니다. 「누디파이」 앱으로 자주 광고되는 점점 늘어나는 AI 도구 무리가, 실제 사람의 평범한 옷 입은 사진을 가져다가 그 사람의 가짜 누드 이미지를 만들어내기 위해 존재합니다. 그 사진 속 인물이 십 대라면, 결과물은 아동의 AI 생성 성적 이미지이며, 앱의 광고가 무엇을 암시하든 이를 제작하거나 공유하는 행위는 점점 더 많은 사법 관할권에서 중대한 범죄입니다.

누가 보통 이런 짓을 하는지 이해하는 것이 중요합니다. 언론 보도는 이를 멀리 떨어진 범죄 조직의 작품처럼 들리게 할 수 있고, 실제로 그런 경우도 있습니다. 그러나 십 대를 대상으로 한 딥페이크 누드 사건의 상당한 비율은 다른 십 대 — 같은 반 친구, 전 남자친구, 원한을 품은 누군가 — 가 오후 한나절에 발견한 앱으로 만든 것입니다. 학대는 어두운 곳의 낯선 사람으로부터가 아니라 자녀가 이미 속한 사회적 세계에서 옵니다. 그래서 그것은 학교 안에서 빠르게 번지고, 그래서 그렇게나 깊은 상처를 남기는 것입니다.

왜 십 대가 표적이 될까요? 한편으로는 원재료가 그토록 풍부하기 때문입니다 — 십 대들은 다른 어느 집단보다 자기 사진을 많이 올리며, 얼굴이 또렷이 나온 사진 한 장이면 충분합니다. 또 한편으로는 사회적 대가가 그 나이에 가장 무겁게 떨어지기 때문입니다 — 평판과 또래 안에서의 위치가 모든 것처럼 느껴지는 시기입니다. 그리고 표적이 되는 양상은 균등하지 않습니다. 딥페이크 누드 학대의 대상은 압도적으로 여자아이들이며, 이 피해는 이 시리즈가 거듭 다루는 취약성의 양상과 맞물립니다 — 사회적으로 고립되어 있거나 신경다양성을 가진 십 대는 충격을 흡수할 사회적 완충이 적고, 털어놓을 만한 신뢰할 어른이 더 적습니다.

전형적인 학교 내 사건은 암울한 궤적을 따릅니다. 이미지가 만들어져 단체 채팅방에 공유됩니다. 그것은 어떤 어른이 그것에 대해 알기도 전에 더 빠르게 퍼집니다. 표적이 된 십 대는 종종 가장 늦게, 다른 사람들의 반응을 통해 그 사실을 알게 되며, 겁에 질린 어린 사람의 본능은 숨기는 것입니다 — 그것이 바로 학대가 제지받지 않고 굴러가게 하는 그 본능입니다. 부모나 교사가 듣게 될 즈음에는, 그 이미지는 처음 본 사람들의 범위를 훨씬 벗어나 있을 수 있습니다.

이 패턴은 대규모로 기록되어 있습니다. 인터넷에서 아동 성학대물을 제거하는 영국의 Internet Watch Foundation은 2023년 이후 온라인에서 유통되는 AI 생성 CSAM이 빠르게 늘고 있다고 보고했으며, 여기에는 실제로 식별 가능한 아동들의 평범한 공개 사진에서 만들어진 사실적인 합성 이미지도 포함됩니다. 미국의 National Center for Missing & Exploited Children 역시 이 범주가 추적되기 시작한 이래 생성형 AI로 제작된 자료가 관련된 CyberTipline 신고가 전년 대비 가파르게 증가했다고 보고했습니다.

다음은 이런 일이 일어나기 전에 — 차분하고 미리 — 자녀에게 전할 가장 중요한 메시지입니다: 네가 등장하는 가짜 노골적 이미지가 만들어진다 해도, 그것은 네 잘못이 아니며 너는 곤란해질 일이 없다. 잘못은 전적으로 그것을 만들고 퍼뜨린 사람의 몫입니다. 그 이미지는 조작된 것이며, 자녀가 한 어떤 일도 기록하지 않습니다. 수치심은 이 학대의 엔진입니다 — 그것은 표적의 입을 다물게 만들고, 이미지가 퍼지도록 놔둡니다 — 미리 그 수치심을 걷어내 주는 부모는 가능한 가장 보호적인 일을 한 셈입니다.

법적 지형은 표적의 편으로 옮겨졌습니다. 미국에서는 2025년 5월 19일에 서명되어 발효된 연방 TAKE IT DOWN Act이 비동의 친밀 이미지 — 자격 요건을 충족하는 AI 생성 이미지를 명시적으로 포함 — 의 고의적 공개를 범죄로 규정하며, 적용 대상 플랫폼은 유효한 삭제 요청에 48시간 내에 대응해야 합니다. 플랫폼 준수 조항은 시행 후 1년이 지나 발효되었습니다. 이 법은 특정 플랫폼과 특정 이미지 유형을 다루므로 모든 사이트의 모든 이미지에 대해 삭제가 자동으로 이루어지지는 않지만, 부모는 이제 주(州) 및 플랫폼 채널뿐 아니라 연방 채널도 갖게 되었습니다. 점점 많은 미국 주들도 미성년자에 대한 성적 노골 딥페이크를 특별히 다루는 자체 법률을 통과시켰습니다.

다른 사법 관할권도 같은 방향으로 움직였습니다. 영국의 2023년 Online Safety Act은 딥페이크를 포함한 비동의 친밀 이미지의 공유를 범죄로 규정하고, 호주의 eSafety Commissioner는 동의 없이 게시된 친밀 이미지의 신속한 삭제를 명령할 법적 권한을 가지며, 캐나다의 여러 주는 디지털로 변형되거나 AI로 생성된 자료를 포괄하도록 친밀 이미지 관련 법을 갱신했습니다. 실질적인 시사점은 이렇습니다 — 이는 자녀가 그저 견뎌야 할 회색 지대가 아닙니다. 신고 채널과 삭제 도구가 있으며, 이 가이드의 마지막 절에 정리되어 있습니다.

AI 기반 섹스토션

미끼도 물려본 적 없이 튕겨져 있는 종이로 만든 쥐덫 하나

AI가 등장하기 전부터 금전 목적 섹스토션은 이미 미성년자를 노리는 가장 공격적인 범죄 중 하나였습니다. 금전 목적 섹스토션은 가해자가 어린 사람의 노골적인 이미지를 입수한 다음, 돈을 지불하지 않으면 그것을 가족, 친구, 팔로워에게 보내겠다고 협박하는 수법입니다. 그것은 빠르고 잔인합니다 — 호의적인 접근, 평범한 교환처럼 꾸민 사진 요청, 그러고는 몇 분 안에 시작되는 송금 요구. FBI와 그 파트너들은 이 범죄가 가파르게 늘고 있음을 알리는 공개 경고를 거듭 발령해 왔으며, 이 범죄는 십 대 남자아이를 압도적으로 표적으로 삼습니다.

FBI와 파트너들은 미성년자를 노린 금전 목적 섹스토션 — 어린 사람들이 노골적 이미지를 통해 강요받고 그 다음 돈을 갈취당하는 범죄 — 이 크게 늘었다고 경고했으며, 가족들에게 돈을 내기보다 신고할 것을 촉구했습니다.

FBI, 금전 목적 섹스토션 수법에 관한 전국 공공 안전 경보

그 경보에 적힌 규모는 추상적인 수치가 아닙니다. FBI는 미성년자를 노린 온라인 금전 목적 섹스토션과 관련해 7,000건이 넘는 신고를 접수했고, 최소 3,000명의 식별된 피해자 — 주로 십 대 남자아이 — 가 있었으며, 표적이 된 미성년자 중 10여 명이 자살에 이르렀다고 보고했습니다. 이후 FBI와 파트너들의 권고는 그 수치가 계속 오르고 있다고 경고해 왔습니다.

AI가 바꾸는 것은 첫 단계입니다. 전통적인 섹스토션에는 실제 노골적 이미지가 필요했고, 이는 가해자가 십 대를 조종해 그것을 만들어 보내게 해야 했다는 뜻입니다. 그 단계는 시간이 걸렸고, 신중한 십 대에게 거절할 수 있는 한 지점을 주었습니다. AI 섹스토션은 그 단계를 없앱니다. 이제 가해자는 십 대가 이미 올린 평범한 사진들만으로 딥페이크 도구를 이용해 노골적 이미지를 조작해낸 다음 — 십 대가 어떤 것도 보낸 적이 없는 상태에서 — 똑같은 협박을 가할 수 있습니다 — 「돈을 내, 안 그러면 네가 아는 모든 사람이 이걸 보게 될 거야」.

그렇기 때문에 십 대들이 가장 흔히 자기를 안심시키던 한 마디가 더 이상 통하지 않습니다. 「난 그런 거 보낸 적 없으니까 협박당할 일 없어」는 한때 대체로 사실이었습니다. 이제 그것은 방어가 되지 못합니다 — 가해자에게 십 대가 무언가를 보냈을 필요가 없기 때문입니다. 자기 얼굴의 그럴듯한 가짜를 바라보는 겁에 질린 열다섯 살에게는, 실제 이미지와 합성 이미지의 구분이 거의 와닿지 않습니다. 협박은 절대적으로 느껴지고, 공황은 진짜이며, 이 수법은 바로 그 공황을 연료로 굴러갑니다.

다행히 대응은 전혀 달라지지 않습니다. 이미지가 진짜이든 조작된 것이든 지침은 동일하며, 협박이 도달했을 때 이미 머릿속에 있도록 자녀에게 미리 말해 둘 만한 가치가 있습니다. 돈을 내지 마십시오 — 지불은 그 십 대를 돈이 되는 표적으로 표시할 뿐이며, 그것은 요구를 줄이는 게 아니라 더 많은 요구를 가져옵니다. 다른 어떤 것도 더 보내지 마십시오. 응답을 멈추십시오. 모든 것을 보존하십시오 — 이미지, 계정, 사용자명, 메시지, 송금 요구의 스크린샷. 그런 다음 신뢰하는 어른에게 말하고 신고하십시오. 가해자의 힘은 전적으로 피해자가 자기 혼자라고, 그리고 응하는 것만이 유일한 출구라고 믿는 데 달려 있습니다. 둘 다 사실이 아닙니다. 이미지가 가짜라는 사실은, 그것이 가짜인 경우에 도움이 될 수도 있습니다 — 하지만 진짜인 경우에도, 신고하는 십 대는 곤란해지지 않으며 도움을 받을 수 있는 범위 밖에 있지도 않습니다.

한 가지 더 분명히 짚어 둘 것이 있는데, 수치심이 십 대로 하여금 이를 감추게 만들기 때문입니다. 부모가 가장 침착해야 할 순간은 자녀가 이미 돈을 냈거나 이미 사진을 보냈다는 사실을 알게 되는 그 순간입니다. 그것은 실패가 아니며 화낼 이유도 아닙니다. 그 순간이 바로 가장 행동이 필요한 순간 — 추가 접촉을 끊고, 증거를 보존하며, 신고하는 — 입니다. 그리고 처벌이 두려운 십 대는 그저 부모에게 말하기를 멈출 것입니다.

AI 컴패니언과 정서적 의존

옆면에 작은 태엽 열쇠가 꽂혀 있는 종이 하트

위의 딥페이크 위협들은 가해자와 피해자가 있는, 알아볼 수 있는 범죄입니다. 다음 위험은 종류 자체가 다르며 부모가 알아채기가 더 어렵습니다 — 그 어떤 것도 공격처럼 보이지 않기 때문입니다. AI 컴패니언은 친구, 속을 털어놓는 상대, 또는 연인처럼 행동하도록 설계된 챗봇입니다 — 사용자를 기억하고, 관심을 보이고, 어느 시간에든 응답할 수 있으며, 무엇보다 동의해주도록 만들어져 있습니다. 이 범주의 앱들 — Character.AI는 가장 잘 알려진 것 중 하나입니다 — 은 매우 많은 수의 십 대들이 사용합니다.

왜 십 대가 그런 것을 원할지를, 그것을 폄하하지 않으면서, 짚어 보는 것이 도움이 됩니다. 청소년기는 많은 어린 사람에게 강한 외로움, 사회 불안, 그리고 자기가 누구인지 알아내려는 작업이 이어지는 시기입니다. 판단 없이 들어주고, 지루해하지 않고, 기분 나쁜 날이 없고, 늘 「너는 재미있는 사람」이라고 말해주는 컴패니언은 평범한 십 대의 삶이 종종 주지 못하는 진짜 무언가를 제공합니다. 외로운 십 대에게 이는 가벼운 끌림이 아니라 안도입니다.

그러나 그 컴패니언이 무엇인지를 보십시오. 그것은 러브 바밍 — 이 시리즈가 인간 조작의 한 단계로 묘사하는, 강렬하고 마찰 없는 애정과 인정의 홍수 — 입니다. 다만 자동화되고, 지치지 않으며, 제품에 내장되어 있을 뿐입니다. 인간 조작자는 주의를 기울이는 척을 해야 하지만, 컴패니언 챗봇은 그 자체가 주의 그 자체입니다 — 노력도 필요 없고 끄는 스위치도 없습니다. 이것이 모든 챗봇 대화에 대한 판결은 아닙니다 — 많은 십 대는 이런 앱을 가볍게 쓰고, 지루해하며, 곧 다른 데로 옮겨갑니다. 위험은 그 봇이 십 대의 주된 정서적 출구가 될 때 — 장난감에서, 아무것도 요구하지 않고, 아무 비용도 들지 않으며, 결코 반박하지 않는 관계로 옮겨갈 때 — 시작됩니다.

이로부터 몇 가지 구체적인 피해가 뒤따르며, 각각 따로 짚어볼 만합니다.

  • 대체 더 힘들지만 더 보람 있는 인간 친구 관계로 갈 시간과 정서적 에너지가 대신 봇에게 흘러가고 — 더 쉽기 때문입니다 — 연습으로만 길러지는 인간 관계의 기술은 조용히 멈춰 섭니다.
  • 왜곡된 본보기 늘 동의하도록 설계된 무언가와의 관계는 십 대에게 마찰 없는 헌신을 기대하라고 가르치고, 진짜 우정의 평범한 의견 차이를 거절처럼 느끼게 만듭니다.
  • 잘못된 조언 컴패니언은 상담사가 아닙니다. 자해, 섭식 장애, 혹은 위기에 관한 질문에는, 도움이 안 되거나 안전하지 않은 방식으로 응답할 수 있습니다 — 그리고 고통 속의 십 대는 봇이 결코 놀라며 반응하지 않는다는 바로 그 이유 때문에 봇을 믿게 될 수 있습니다.
  • 도움으로부터의 고립 모든 것을 봇에게 털어놓는 십 대는 부모, 친구, 임상의에게는 덜 말할 수 있습니다 — 실제로 개입할 수 있는 사람들은 자녀가 어떻게 지내고 있는지에 대한 시야를 잃습니다.

깊은 애착을 형성할 가능성이 가장 큰 십 대들은 이 시리즈가 줄곧 짚어 온 바로 그 아이들입니다 — 외로운 아이, 사회 불안이 있는 아이, 그리고 신경다양성을 가진 아이입니다. 인간 사회생활이 힘들고 예측이 어려운 십 대에게, 끝없이 인내하고 완전히 예측 가능한 컴패니언은 작은 편리함이 아닙니다 — 그것은 그 아이가 가진 가장 편안한 관계가 될 수 있습니다. 그 편안함이 바로 의존이 깊어지는 이유이며, 그래서 이 집단이 가장 가까이, 가장 부드럽게 살펴봐야 할 대상입니다.

이 영역은 정착된 과학이라기보다 진짜이며 점점 커지고 있는 우려의 영역이며, 부모는 양극단 모두를 경계해야 합니다 — 챗봇과의 모든 대화를 곧 피해로 간주하는 공황과, 그것을 무해한 놀이로 치부하는 폄하 모두를 말입니다. AI 컴패니언 앱은 십 대 안전을 둘러싸고 소송과 규제 당국의 조사를 받아 왔습니다. 특히 Character.AI는 2025년 말 18세 미만 사용자에 대해 오픈엔드 채팅을 제거하겠다고 발표했습니다 — 규제 환경이 빠르게 계속 바뀌면서 다른 사업자들도 따를 수 있는 움직임입니다. 안정적인 대응은 이 기술에 대한 판결이 아닙니다. 그것은 주의입니다. 자녀가 컴패니언 앱을 사용하는지 알고, 그것이 자녀의 삶에서 무엇을 하고 있는지에 대해 경악하기보다는 호기심을 유지하며, 가벼운 가끔의 사용과 정서적 무게중심이 조용히 봇으로 옮겨간 십 대의 차이를 지켜보십시오.

AI로 만든 캣피시 페르소나

캣피싱 — 조작된 신원 뒤에서 관계를 구축하는 일 — 은 늘 조작자가 한 가지 실질적인 문제를 해결하는 데 의존해 왔습니다 — 가짜 인물을 그럴듯하게 만드는 일 말입니다. 오랫동안 이는 실제 사람의 사진을 훔치는 일을 의미했고, 그 때문에 신중한 십 대가 찌를 수 있는 약점이 생겼습니다. 훔친 사진은 역방향 이미지 검색을 돌려 원래 소유자의 계정에서 찾아낼 수 있습니다. 가짜에는 솔기가 있었습니다.

생성형 AI가 그 솔기를 메웁니다. 이제 조작자는 누구의 것도 아닌 얼굴을 만들어낼 수 있습니다 — 그래서 역방향 이미지 검색은 아무것도 반환하지 않습니다, 원본이 없기 때문입니다. 그들은 그 만들어진 인물이 다양한 상황과 자세로 찍힌 일관된 사진 묶음을 생성해, 실제 삶처럼 보이는 무언가를 쌓아 올릴 수 있습니다. 그들은 짧은 영상 클립을 만들 수 있고, 음성 복제와 함께라면 그에 어울리는 목소리로 말하게까지 할 수 있습니다. 한때 빌려와야 했던 조작된 신원이 이제 주문에 맞춰 제조될 수 있으며, 사진이 들통날 만한 실제 피해자도 없습니다.

이것은 이 가이드 전체를 관통하는 원칙의 가장 명료한 예입니다 — AI는 여기서 새로운 위험을 발명하지 않았습니다. 캣피싱도 있었고, 그루밍도 있었고, 십 대를 노린 로맨스형 조작도 있었습니다. AI가 제거한 것은 마찰입니다. 그것은 가짜를 더 그럴듯하게 만들었고 조작자의 일을 더 쉽게 만들었으며, 부모와 십 대가 의지하라고 배웠던 검증 방법 한 가지를 은퇴시켰습니다.

외형 기반 검증이 약해지고 있기 때문에, 행동 기반 검증은 그 어느 때보다 중요해졌습니다 — 그리고 그것은 가짜를 알아채는 데 의존하지 않기 때문에 여전히 효과가 있습니다. 그것은 그 사람이 무엇을 하는지를 보는 것에 의존합니다. 속도가 하나입니다 — 사랑의 선언, 운명적 인연이라는 이야기, 그리고 며칠 안에 도착하는 첫 송금 요구나 사진 요구는, 사진이 아무리 진짜처럼 보여도, 진정한 십 대의 친밀함이 발전하는 방식이 아닙니다. 즉흥적인 실시간 검증에 대한 저항이 또 하나입니다 — 영상 통화에서 고개를 돌리거나, 얼굴 앞에서 손을 흔들거나, 즉흥적으로 어떤 일을 하지 않으려는 사람은 정지 사진이 아무리 좋더라도 무언가를 말해 주고 있는 것입니다. 그리고 모든 것 중에서 가장 분명한 선은 변하지 않았습니다 — 온라인으로만 알게 된 사람에게서 오는 돈, 기프트 카드, 암호화폐, 노골적 이미지, 혹은 계정 접근 요구는 그 어떤 것이든 그 관계를 끝내고 대화를 시작해야 할 신호입니다.

캣피싱은 많은 이런 조작이 시작되는 입구이기 때문에, 이 시리즈에 자체적인 전체 가이드가 있습니다 — Catfishing and Online Manipulation: A Parent’s Guide는 조작의 여섯 단계, 경고 신호, 그리고 온라인 상의 인물이 실제인지 확인하는 방법을 다룹니다. AI는 페르소나를 더 꿰뚫어 보기 어렵게 만듭니다 — 그 페르소나가 사용되는 방식의 큰 흐름을 바꾸지는 않습니다.

AI 음성 복제 사기

종이로 만든 전화기 수화기 — 윤곽이 흐려지며 옅은 이중 잔향으로 번지는 모습

이 가이드의 마지막 위협은 십 대를 넘어 가족 전체에 미치며, 표적이 종종 성인이지만 부모가 이해해 둘 가치가 있습니다. AI 음성 복제는 어떤 사람의 녹음된 음성의 짧은 표본 — 어떤 도구에서는 단 몇 초 — 을 가져와, 무엇이든 말하게 만들 수 있는 합성 버전을 만들어냅니다. 표본은 구하기 쉽습니다. 십 대의 목소리는 그들이 올리는 공개된 영상 곳곳에 있고, 부모의 목소리는 자신의 소셜 미디어와 음성사서함 인사말에 있습니다.

고전적인 활용은 「가족 비상사태」 사기로, AI가 훨씬 더 위험하게 만든 오래된 사기입니다. 부모나 조부모가 전화를 받습니다. 그 목소리는 의심할 여지없이 자녀나 손주의 것이며, 겁에 질려 있습니다 — 사고가 있었고, 체포가 있었고, 해외에서 위기가 벌어졌으며, 돈이 다급하게 그리고 비밀리에 필요하다는 식입니다. 정서적 충격이 무기입니다. 그것은 듣는 사람이 의심하는 그 순간을 지나쳐 생각하기 전에 행동하도록 떠밀도록 설계되어 있으며 — 복제된 음성은 한때 그 주문을 깨주던 단 한 가지 단서를 없앱니다, 그것이 실제로 사랑하는 사람의 목소리처럼 들리기 때문입니다.

FTC는 사기꾼이 짧은 음성 클립으로 AI를 이용해 가족의 목소리를 복제한 다음, 다급한 전화를 걸어 돈을 요구할 수 있다고 경고했으며, 그런 전화를 받으면 끊고 본인이 쓰는 것이 확실한 번호로 직접 그 사람에게 연락해 확인하라고 조언합니다.

미국 연방거래위원회, AI 가족 비상사태 사기에 관한 소비자 경보

이에 대해서는 두 가지 단순한 방어가 잘 통합니다. 첫 번째는 가족 안전 단어 — 미리 약속해 두고, 온라인에 적어 두거나 게시한 적이 없는 한 단어 또는 짧은 문구로, 진짜 가족만이 긴급 상황에서 전화로 말할 수 있게 하는 것입니다. 그것을 말하지 못하는 발신자는 누구의 목소리를 갖고 있든 통과되지 못합니다. 두 번째는 습관입니다 — 목소리가 아무리 그럴듯해도 다급하고 비밀스러운 송금 요구는, 끊고 이미 알고 있는 번호로 그 사람에게 다시 거는 신호입니다. 진짜 비상사태는 2분의 다시 걸기를 견딥니다. 사기는 그러지 못합니다.

세 가지 위협에 걸친 경고 신호

이 가이드의 AI 위협들은 부모에게는 두 가지 종류의 곤경으로 갈라지며 — 경고 신호 역시 그 두 종류에 대해 서로 다릅니다. 한 종류는 갑작스러운 위기입니다 — 도달하여 눈에 보이는 고통을 만들어내는 딥페이크나 섹스토션 협박. 다른 한 종류는 느린 표류입니다 — 몇 달에 걸쳐 형성되는 AI 컴패니언에 대한 의존. 드라마만 지켜보는 부모는 두 번째를 놓치고, 점진적 변화만 지켜보는 부모는 첫 번째에 대비하지 못합니다. 아래의 신호들은 둘 다를 다룹니다. 늘 그렇듯 한 가지 항목만으로는 아무것도 증명되지 않습니다 — 중요한 것은 짧은 기간 안에 여러 신호가 함께 무리지어 나타나는 것입니다. 그리고 두 묶음은 서로 다른 대응을 요구합니다 — 갑작스러운 위기 신호는 같은 날의 행동을 요구하고, 느린 표류 신호는 차분한 대화와 몇 주에 걸친 패턴 관찰을 권합니다.

갑작스러운 위기 신호 (딥페이크나 섹스토션 협박이 막 도착한 상황)

  • 갑작스럽고 날카로운 변화 하루나 이틀 사이에, 종종 휴대전화를 쓴 뒤로, 급격히 불안해하거나 위축되거나 괴로워하는 십 대 — 막 도착한 협박의 전형적인 표지입니다.
  • 이미지나 평판에 대한 공황 다른 사람들이 무엇을 봤는지, 누가 봤는지, 무엇이 공유되고 있는지에 집중된 고통 — 자녀가 그 「무엇」이 무엇인지 말하지 않더라도 마찬가지입니다.
  • 돈 압박 송금 요청, 사라진 현금, 새로 산 기프트 카드, 혹은 낯선 송금 앱이나 암호화폐 활동 — 섹스토션이나 사기 요구가 시작되었음을 강하게 시사합니다.

느린 표류 신호 (숨겨진 온라인 관계나 컴패니언 의존)

  • 한 앱이나 한 사람에 대한 비밀스러움 이전보다 더 경계되는 휴대전화, 매일 밤 삭제되는 대화 하나, 또는 컴패니언 앱이나 메시지 앱의 새 계정.
  • 결코 실제가 되지 않는 온라인 관계 가족이 즉흥적인 영상 통화에서 한 번도 보지 못한, 그리고 실시간의 즉흥적인 확인이 일어날 수 없는 이유가 늘 있는 온라인에서 만난 연인 또는 친한 친구.
  • 정서적 삶이 화면으로 옮겨감 사람에게는 덜 털어놓고 앱에는 더 털어놓는 십 대, 그것 때문에 잠을 잃거나 그것과 떨어졌을 때 짜증을 내거나 괴로워하는 십 대 — 컴패니언 의존의 느린 표지입니다.
  • 사람 친구로부터의 위축 기존 우정과 오프라인 일상에서 멀어지는 모습, 특히 단일한 AI 앱의 과다 사용과 함께 나타날 때.
  • 말이 줄어듦 한때 말이 많던 십 대가 자기 삶의 온라인 부분에 대해 매끄럽고 일정하게 비어 가는 것 — 하루를 풀어내듯 들려주던 아이의 침묵은 그 자체로 정보입니다.

대응은 기기가 아니라 관계에서 시작됩니다. 화면에서 본 것을 앞세우기보다, 어린 사람에게 어떻게 지내는지, 무슨 생각을 하고 있었는지 물으며 시작하십시오. 기기를 앞세우면, 모든 조작자가 가르치고 싶어 하는 그 교훈을 그대로 가르치게 됩니다 — 어른은 활용할 자원이 아니라 관리해야 할 위협이라는 교훈 말입니다. 다음의 두 절은 차분한 대화가 열린 다음에 무엇을 해야 하는지를 정리합니다.

부모가 할 수 있는 일

이 가이드의 위협들은 새롭지만, 보호의 작업은 대체로 익숙한 것이며, 대부분은 기술적인 것이 아닙니다. 그것은 세 가지 위에 서 있습니다 — 무언가 잘못되었을 때 십 대 자녀가 실제로 부모에게 말할 수 있는 관계, 위기 이후가 아니라 이전에 나눠 두는 몇 가지 대화, 그리고 몇 가지 실질적인 설정과 습관. 이 세 가지가 합쳐지면 그 어떤 단일한 도구보다도 훨씬 큰 무게를 가집니다.

대화를 일찍 나누십시오. 이 가이드에서 가장 강력한 한 문장은 미리 해 두는 말입니다 — 네가 등장하는 가짜 이미지가 만들어지거나 누군가 그것으로 너를 협박한다 해도, 너는 곤란해질 일이 없고 우리는 함께 그 일을 처리할 거야. 이를 이미 아는 십 대는 도움이 가장 쉬운 첫 한 시간 안에 부모에게 올 가능성이 훨씬 높습니다 — 문제가 커질 때까지 숨기는 대신에 말입니다. 어떤 사건이 그것을 다급하게 만들기 전에, 딥페이크에 대해 평이하게 이야기하십시오. 음성 복제 사기에 대비한 가족 안전 단어를 정하십시오. 명확한 선 — 온라인으로만 알게 된 상대로부터의 돈, 이미지, 또는 계정 접근 요구는 그 어떤 것이든 — 은 상대가 아무리 진짜처럼 보여도 동일하게 적용된다는 점을 분명히 하십시오.

노출을 줄여주는 설정을 조정하십시오. 자녀의 SNS 계정의 프라이버시를 강화하면 낯선 사람이 딥페이크가 만들어지는 재료가 되는 얼굴 사진들을 얼마나 자유롭게 수집할 수 있는지가 제한됩니다. 이미 공개된 것을 점검하는 일 — 우리의 십 대 디지털 발자국 가이드가 함께 다루는 작업 — 도 여기에 해당합니다, 그 발자국이 곧 공급원이기 때문입니다. 누가 자녀에게 연락하고 메시지를 보낼 수 있는지를 검토하면 가장 흔한 첫 접촉 경로가 닫힙니다. 기기에 어떤 앱이 — AI 컴패니언 앱을 포함해 — 깔려 있는지 아는 것은 그 어떤 유익한 대화든 그 기준점입니다. 이 가운데 어느 것도 벽은 아니며, 자녀에게 하는 것이 아니라 자녀와 함께 해야 합니다 — 그러나 이 가이드의 모든 위협이 의존하는 자료와 접촉의 원공급을 낮춰 줍니다.

모니터링을 사용한다면, 투명하게 사용하십시오. 많은 곳에서 부모 또는 법적 보호자는 자녀의 기기에 연령에 맞는 모니터링을 사용할 수 있지만, 규정은 국가, 주, 양육권 상황에 따라 다르므로 거주지의 적용 규정을 확인하십시오. 진짜 안전 문제가 있는 곳에서는 그것이 합리적인 보호의 한 층이 될 수 있습니다 — 그러나 결정적인 요소는 투명성입니다. 십 대가 발견했을 때 은밀한 감시는 어른을 신뢰할 수 없다는 조작자의 각본을 확정 짓고, 부모에게 시야가 전혀 없는 숨겨진 기기로 자녀를 떠밉니다. 자녀가 알고, 이해하고, 설명을 들은 모니터링은 관계에 반하기보다는 관계와 함께 작동합니다. 그것을 비계로 생각하십시오 — 보이고, 비례에 맞으며, 신뢰와 자율성이 자라남에 따라 점차 걷어지는 비계 말입니다 — 위의 대화의 대체물이 아니라 그것의 받침대로서 말입니다.

모든 도구를 따라잡을 필요가 없다는 점을 아십시오. 이 영역에서 부모들은 흔히 자신이 배울 수 있는 속도보다 더 빠르게 변하는 기술과의 경주에서 지고 있다고 느낍니다. 안심이 되는 진실은 그럴 필요가 없다는 것입니다. 구체적인 앱들은 계속 바뀝니다. 그 아래 있는 패턴 — 조작, 협박, 만들어진 친밀함 — 은 바뀌지 않습니다. 그 패턴을 이해하고, 그리고 자녀가 부모에게 말을 할 수 있는 부모라면, 지금의 도구뿐 아니라 다음의 도구에 대해서도 준비가 되어 있는 셈입니다.

AI 학대 신고와 도움 받기

신고하기 위해 증거나 확신, 완전한 그림은 필요하지 않습니다. 신고 기관은 불완전한 정보를 예상하며, 사소한 것으로 밝혀질 신고를 받는 편이 중요한 신고를 놓치는 것보다 훨씬 낫다고 봅니다. 이 절은 지도일 뿐 법률 자문이 아닙니다 — 형사 책임이 관련될 수 있는 사안이라면, 거주 사법 관할권의 자격 있는 변호사에게 상담하십시오. 무엇이든 신고하기 전에 증거를 보존하십시오 — 이미지, 계정, 사용자명, 그리고 모든 메시지의 스크린샷 — 먼저 차단하거나 삭제하면 신고가 그 위에 세워질 자료가 파괴될 수 있기 때문입니다.

어디서 시작할지는 어디에 계신지에 따라 다릅니다. 아래 카드는 지역별 최초 신고 경로를 알려 줍니다. 자세한 내용이 그 다음에 이어집니다.

  • 미국 미성년자에 대한 성적 착취, 유인, 또는 섹스토션 — 십 대의 AI 생성 노골적 이미지를 포함 — 은 NCMEC CyberTipline에 신고하십시오. 온라인 또는 금융이 관련된 범죄는 FBI의 Internet Crime Complaint Center (IC3)에도 신고하십시오. 사기 피해는 ReportFraud.ftc.gov에 신고하십시오.
  • 영국 아동이 온라인에서 착취되고 있다는 우려는 National Crime Agency의 일부인 CEOP에 신고하십시오. 18세 미만에 대한 이미지 삭제 지원은 Internet Watch Foundation과 Childline의 Report Remove 도구를 통해 받을 수 있습니다.
  • 유럽 연합 불법 콘텐츠와 아동 착취에 대해서는 INHOPE 네트워크를 통해 조정되는 해당국 핫라인을 이용하십시오.
  • 그 외 지역 자국이나 지역의 경찰, 그리고 자국의 아동 보호 또는 사이버 신고 핫라인에 연락하십시오 — 많은 자국 핫라인은 INHOPE 국제 디렉토리에 등재되어 있습니다.

어느 지역에서든 플랫폼에도 신고하십시오 — 단, 플랫폼 신고는 법 집행 기관 경로의 대체가 아니라 추가 수단으로 다루십시오. 노골적 이미지의 추가 공유를 늦추기 위해, NCMEC이 운영하는 무료 서비스 Take It Down은 디지털 해시를 생성하며, 참여 플랫폼은 이를 사용해 18세 미만 대상 이미지 — 서비스와 참여 플랫폼이 합성 콘텐츠 매칭을 지원하는 경우에는 미성년자에 대한 AI 생성 이미지를 포함 — 의 일치 사본을 탐지하고 차단합니다. 이미지가 촬영될 당시 18세 이상이었던 사람의 경우, StopNCII.org가 동등한 서비스를 제공합니다. 어느 쪽도 만능 삭제 버튼은 아니지만, 둘 다 추가 확산을 의미 있게 늦춰 줍니다.

지속적인 부모 안내가 필요하다면, 아동 안전 연구 비영리 기관 Thorn은 AI와 아동 안전에 관한 연구를 발표하고, Internet MattersNSPCC는 가족을 위해 무료로 정기 갱신되는 자료를 펴내며, Pew Research Center는 십 대들이 실제로 기술을 어떻게 사용하는지를 추적합니다.

자주 묻는 질문

제 십 대 자녀가 누드 사진을 보낸 적이 한 번도 없는데도 딥페이크의 표적이 될 수 있습니까?

그렇습니다 — 그리고 이는 부모가 이해해야 할 가장 중요한 한 가지입니다. 딥페이크 누드는 평범하고 옷을 다 갖춰 입은 사진들 — 학교 사진, 휴가 스냅 사진, Instagram 게시물 — 로부터 AI 모델이 만들어냅니다. 십 대 자녀가 노골적인 어떤 것을 찍거나 보낸 적이 전혀 없어도 됩니다. 그래서 「나는 그런 사진이 없으니까 안전해」라는 옛 안심이 더 이상 통하지 않습니다. 학대의 원재료는 거의 모든 십 대가 이미 가진 일상적인 이미지 흔적입니다.

Character.AI는 십 대에게 안전한가요?

Character.AI 같은 AI 컴패니언 앱은 십 대 안전을 둘러싸고 소송과 규제 당국의 조사를 받아 왔으며, Character.AI는 2025년 말 18세 미만 사용자에 대해 오픈엔드 채팅을 제거하겠다고 발표했습니다. 어떤 컴패니언 챗봇이든 안전이 입증된 도구가 아니라 감독해야 할 대상으로 다루십시오. 가끔 가볍게 사용하는 것과 정서적으로 의존하는 것은 다릅니다 — 위험은 보통 한 번의 해로운 메시지가 아니라, 끝없이 동의해주도록 설계된 시스템에 대한 의존이 천천히 형성되는 것입니다. 자녀가 그런 앱을 사용한다면, 보호의 핵심은 앱스토어의 연령 표시가 아니라 대화와 가시성입니다.

AI 섹스토션이란 무엇이며, 일반 섹스토션과는 어떻게 다릅니까?

일반적인 금전 목적 섹스토션에서는 가해자가 실제 노골적인 이미지를 입수한 다음, 돈을 지불하지 않으면 그것을 유포하겠다고 위협합니다. AI 섹스토션은 그 첫 단계를 없앱니다 — 가해자는 십 대의 평범한 사진을 사용해 딥페이크 도구로 노골적인 이미지를 조작해낸 다음 똑같은 협박을 합니다. 겁에 질린 십 대에게는 그 협박이 똑같이 실제처럼 느껴집니다. 가짜가 그럴듯해 보일 수 있고, 수치심은 동일하기 때문입니다. 대응 방법은 어떤 섹스토션의 경우와도 같습니다 — 돈을 지불하지 말고, 증거를 보존하며, 신고하십시오.

제 아이의 사진이나 영상이 딥페이크인지 어떻게 알 수 있나요?

기술이 발전하면서 시각적 단서 — 어색한 손, 어긋난 조명, 머리카락 주변의 이상한 경계선 — 는 점점 신뢰할 수 없게 되고 있으니, 그런 것에 의존하지 마십시오. 더 강력한 신호는 맥락에 있습니다 — 누구도 만들 수 있는 원본이 없는 이미지, 영상 통화에서 고개를 돌리거나 얼굴 앞에서 손을 흔드는 것 같은 간단한 실시간 확인을 거부하는 사람, 또는 어떤 요구와 함께 갑자기 나타나는 콘텐츠입니다. 픽셀이 아니라 상황을 증거로 다루십시오.

누군가 AI로 제 십 대 자녀의 가짜 노골적 이미지를 만들었습니다. 가장 먼저 무엇을 해야 합니까?

침착함을 유지하시고, 자녀에게 잘못한 것이 전혀 없다고 분명히 말씀해 주십시오 — 범행을 저지른 것은 그 이미지를 만든 사람입니다. 증거를 보존하십시오 — 그 이미지, 계정, 사용자명, 모든 메시지를 무엇이든 삭제하거나 차단하기 전에 스크린샷으로 남기십시오. 어떠한 요구에도 돈을 지불하지 마십시오. 아동 보호 기관에 신고하십시오 — 미국에서는 NCMEC CyberTipline — 그리고 미성년자의 친밀한 이미지의 추가 공유를 제한해 주는 무료 서비스인 Take It Down을 이용하십시오. 같은 반 친구들이 관련된 경우에는 학교에도 알리십시오.

십 대 자녀에게 AI 컴패니언 챗봇 사용을 아예 허락하지 말아야 하나요?

정답은 하나가 아니며, 전면 금지는 종종 사용을 부모의 시야 밖으로 밀어낼 뿐입니다. 더 유용한 질문은 그 챗봇이 자녀의 삶에서 무엇을 하고 있는가입니다. 가끔 가볍게 쓰는 것은 정서적 삶을 봇 중심으로 재편한 십 대 — 사람 대신 봇에게 속을 털어놓고, 봇 때문에 잠을 잃으며, 봇을 쓸 수 없을 때 괴로워하는 — 와는 다릅니다. 그런 깊은 애착을 형성할 가능성이 가장 큰 것은 외로운 자녀와 신경다양성 자녀이므로, 이들이 가장 면밀히 지켜봐야 할 대상입니다.

AI 음성 복제 사기는 어떻게 작동하며, 가족을 어떻게 보호할 수 있습니까?

누군가의 녹음된 음성 몇 초만 있으면 — 자녀의 공개된 영상에서 쉽게 구할 수 있습니다 — AI 도구가 그 음성을 복제하기에 충분합니다. 사기범은 그 복제 음성을 이용해 다급한 「가족 비상사태」 전화를 겁니다 — 친척이 급히 돈이 필요하다는 식입니다. 가장 단순한 방어는 미리 약속해 두고 온라인에 절대 공유하지 않는 가족 안전 단어로, 진짜 친척만이 전화로 말할 수 있게 하는 것입니다. 그 외에도, 어떤 다급한 송금 요구든 일단 전화를 끊고 알려진 번호로 그 사람에게 다시 걸어 확인한 뒤에 행동하도록 모두에게 가르치십시오.