소개 소개: AI 기반 공격의 새로운 시대
2025년은 사이버 보안의 전환점이 될 것입니다. 제너레이티브 AI는 사이버 공격을 강화하여 위협 행위자가 더 많은 공격을 할 수 있도록 합니다. 빈번하고 현실적이며 확장 가능 캠페인이 그 어느 때보다 활발하게 진행되고 있습니다. 실제로 지난 한 해 동안 보고된 사이버 사고 중 16%는 공격자가 AI 도구를 활용하는 것과 관련이 있습니다. (예: 이미지 및 언어 생성 모델)을 사용하여 소셜 엔지니어링을 강화합니다.[1]. 매우 그럴듯한 피싱 이메일부터 딥페이크 오디오/비디오 사기에 이르기까지 악의적인 공격자들은 모든 분야에서 AI를 무기화합니다. 현재 대다수의 보안 전문가들은 제너레이티브 AI에 대한 사이버 공격 급증악의적인 공격자들이 피해자를 더 빠르고 스마트하게 악용할 수 있는 방법을 제공합니다.[2]. 생성형 AI는 사이버 범죄의 기술 장벽을 효과적으로 낮추는 동시에 그 위력을 높이고 있습니다.
이것이 왜 그렇게 우려스러운가요? AI는 숙련된 사용자도 속일 수 있는 세련된 문맥 인식 콘텐츠를 즉시 제작할 수 있습니다. 놀라울 정도로 정확하게 목소리와 얼굴을 사칭할 수 있으며, 심지어 탐지를 피하기 위해 변하는 악성 코드도 생성할 수 있습니다. 그 결과 사이버 공격은 탐지하기는 더 어려워지고 실행은 더 쉬워졌습니다. 사이버 공격은 세계 경제 포럼 는 72%의 조직이 제너레이티브 AI의 역량 증가로 인해 사이버 위험, 특히 사회 공학 및 사기가 증가했다고 경고합니다.[3]. 실제 사건들이 이를 증명합니다: 2024년 초, 범죄자들은 AI가 생성한 딥페이크 영상 통화 회사의 CFO를 사칭하여 직원을 속여 이직하도록 유도합니다. $2,560만 사기꾼에게[4]. 또 다른 사례로, 북한 해커들은 AI가 생성한 위조 신분증 문서 방어 피싱 캠페인에서 보안 검사를 우회하는 방법[5]. 이러한 사례는 생성형 AI가 인간과 기술적 통제를 모두 우회하는 사기에 힘을 실어주고 있다는 점을 강조합니다.
하지만 AI도 솔루션의 일부입니다. 고급 탐지 도구(예: TruthScan의 도구)는 AI를 사용합니다. 반대 AI - 콘텐츠를 분석하여 기계 생성의 미묘한 시그니처를 찾아냅니다. 이 백서에서는 2025년의 주요 AI 기반 사이버 위협과 조직이 이를 완화할 수 있는 방법을 살펴봅니다. 출처 AI 생성 피싱 에 딥페이크 CEO 사기, AI로 제작된 멀웨어, 합성 신원등을 통해 제너레이티브 AI가 어떻게 공격을 재편하고 있는지 살펴봅니다. 또한 다음과 같은 구체적인 방어 방안에 대해서도 논의할 것입니다. AI 콘텐츠 감지, 딥페이크 포렌식, 신원 확인 기술 등 보안팀이 우위를 점할 수 있는 기술을 소개합니다. 목표는 기업, MSSP, CISO 및 사기 조사자가 다음과 같은 방법을 조명하는 것입니다. 사이버 보안 스택 전체에 AI 탐지 도구 통합 를 통해 이러한 AI 기반 위협에 대응하고 있습니다.
다시는 AI 사기에 대해 걱정하지 마세요. TruthScan 도움을 드릴 수 있습니다:
- 생성된 AI 감지 이미지, 텍스트, 음성 및 동영상
- 피하기 주요 AI 기반 사기
- 가장 중요한 정보 보호 민감한 기업 자산.
AI 생성 피싱 및 BEC: 전례 없는 규모의 사기 공격
제너레이티브 AI의 가장 명확한 영향 중 하나는 피싱과 비즈니스 이메일 침해(BEC) 계획. AI 언어 모델은 몇 초 만에 유창하고 문맥에 맞는 이메일을 작성할 수 있으므로 피싱의 단서를 제공하던 문법 오류와 어색한 문구를 제거할 수 있습니다. 그 결과 매우 설득력 있는 사기 이메일과 문자가 범람하고 있습니다. 2025년 4월까지, 스팸 이메일의 절반 이상(51%)이 AI에 의해 작성되었습니다.로 2년 전 거의 0에서 증가했습니다.[6]. 더욱 놀라운 사실은 연구자들이 발견한 사실입니다. 14%의 BEC 공격 이메일이 AI로 생성되었습니다. 2025년까지[7] - 이 수치는 범죄자들이 ChatGPT와 같은 도구를 채택함에 따라 증가할 것으로 예상됩니다. 일부 연구에 따르면 80% 이상 의 피싱 이메일이 이제 AI의 도움을 받아 제작될 수 있습니다.[8].
이러한 AI 생성 미끼의 양이 폭발적으로 증가했습니다. 보안 분석에 따르면 생성 AI와 관련된 피싱 공격은 다음과 같이 급증했습니다. 1,265% 짧은 기간에[9]. 한 기간 동안 피싱 사고 보고가 급증했습니다. 단일 분기 466%자동화된 피싱 키트와 봇이 맞춤형 미끼를 뿌려대기 때문입니다.[9][10]. 왜 이렇게 급증할까요? 공격자들이 AI를 통해 규모 그들의 작전을 극적으로 개선할 수 있습니다. 한 명의 범죄자가 AI 챗봇을 사용하여 다음을 생성할 수 있습니다. 수천 다른 직원이나 고객을 대상으로 하는 개인화된 사기 이메일을 작성하는 데 걸리던 시간을 단축할 수 있습니다. 이러한 대량 자동화로 인해 FBI는 2022년에 이미 1조 7천 27억 달러에 달했던 BEC 손실이 AI가 "이러한 손실을 더욱 증가시킬 위협"이 있기 때문에 더욱 가속화될 것이라고 경고했습니다.[11][12].
피싱 이메일이 더 많아졌을 뿐만 아니라 다음과 같은 특징도 있습니다. 더 효과적인. 피해자들은 AI가 사용할 수 있는 세련된 언어와 상황에 맞는 세부 정보에 속는 비율이 더 높습니다. 실험실 테스트에서 AI로 작성된 피싱 이메일은 다음과 같은 결과를 얻었습니다. 54% 클릭률 - 기존 피싱 시도에 대한 ~12%를 훨씬 상회합니다.[13]. 이러한 메시지는 실제 CEO의 스타일처럼 읽히거나 실제 회사 이벤트를 언급하여 수신자의 경계심을 낮춥니다. 공격자들은 AI를 사용하여 다양한 문구를 A/B 테스트하고 가장 성공적인 훅을 반복하기도 합니다.[14]. 또한 인간과 달리 AI는 오타를 내거나 지치지 않으며, 필터를 통과하여 누군가를 속일 때까지 끝없이 변형을 만들어낼 수 있습니다.
주요 사례: 2025년 중반에 Reuters 조사를 통해 동남아시아 사기범들이 ChatGPT를 활용하여 사기 통신을 자동화하는 방법을 밝혀냈습니다.[15]. 이들은 그럴듯한 은행 이메일과 고객 서비스 문자를 대량으로 생성하여 사기의 도달 범위를 크게 늘렸습니다. 유럽 경찰도 다크웹에서 $20 미만의 가격으로 판매되는 AI 기반 피싱 키트를 보고했으며, 이를 통해 저숙련 공격자들이 정교한 캠페인을 시작할 수 있게 되었습니다.[16][17]. BEC와 피싱에 대한 진입 장벽이 사실상 사라졌습니다.
방어 조치 - AI 피싱 차단하기: 이러한 공세를 고려할 때 조직은 이메일 및 메시징 채널을 강화해야 합니다. 여기에서 AI 콘텐츠 감지 가 도움이 될 수 있습니다. 다음과 같은 도구 트루스캔의 AI 텍스트 검출기 전문화 이메일 스캐너 는 수신 메시지를 분석하여 AI가 생성한 텍스트의 통계적 마커를 찾을 수 있습니다. 예를 들어 트루스캔 이메일 사기 탐지기 자연어 분석을 사용하여 정상적으로 보이는 이메일이라도 AI가 보낸 것일 가능성이 있는 이메일에 플래그를 지정합니다.[18]. 이 감지기는 완벽하게 다듬어진 문법, 문장의 복잡성, 문체 패턴 등 인간 작가에게는 드문 것들을 검사합니다. 와 실시간 스캔를 사용하면 의심스러운 이메일이 사용자에게 도달하기 전에 격리하거나 검토를 위해 플래그를 지정할 수 있습니다. 기업 보안팀은 이메일 게이트웨이와 메시징 플랫폼에 이러한 AI 기반 필터를 배포하기 시작했습니다. 이는 기존 스팸 필터에 새로운 방어 계층을 추가하는 것으로, AI로 작성된 콘텐츠를 포착하도록 명시적으로 조정된 필터입니다. 2025년 현재, 주요 기업들은 API를 통해 TruthScan과 같은 솔루션을 보안 이메일 게이트웨이 및 클라우드 협업 제품군에 통합하여 다음과 같은 자동화된 체크포인트를 만들고 있습니다. AI 생성 피싱 콘텐츠.
딥페이크 음성 및 동영상 사칭: "보이는 게 다가 아니다" 사기
2025년에 가장 핵심적인 AI 기반 위협은 아마도 다음과 같은 것들이 부상할 것입니다. 딥페이크 음성 및 비디오 공격. 범죄자들은 AI 모델을 사용하여 단 몇 초의 오디오에서 사람의 목소리를 복제하거나 몇 장의 사진으로 사람의 얼굴을 사실적인 동영상으로 생성할 수 있습니다. 이러한 딥페이크는 CEO 사기('가짜 CEO' 전화)부터 가짜 화상 회의 등 고액의 사칭 사기에 악용되고 있습니다. 최근 업계 보고서에 따르면 딥페이크 공격을 경험한 조직의 47% 어떤 종류의[19]. 2023~2025년에 발생한 여러 건의 해킹 사건은 딥페이크가 우리의 눈과 귀라는 궁극적인 인증 수단을 무력화할 수 있다는 사실을 입증했습니다.
악명 높은 사례 중 하나는 국제 은행 송금과 관련된 것입니다. $2500만 직원이 딥페이크 화상 회의에 속아 넘어간 후였습니다. 공격자는 AI를 사용하여 Zoom 통화에서 회사 CFO의 목소리와 매너리즘을 갖춘 모습을 합성하여 직원에게 자금을 송금하도록 지시했습니다.[4][20]. 호주에서 발생한 또 다른 사건에서는 한 지방 정부가 $2.3백만 손실 사기꾼이 사기 결제를 승인하기 위해 시 공무원의 음성과 영상을 모두 위조한 경우[21]. 그리고 놀랍게도 범죄자들은 '조부모 사기'에 AI로 복제된 목소리를 사용하여 노인들에게 전화를 걸어 곤경에 처한 친척을 사칭하고 있습니다. The FBI 그리고 FinCEN 는 2024년 말에 다음을 이용한 사기 급증에 대한 경고를 발표했습니다. AI가 생성한 '딥페이크' 미디어KYC 인증을 우회하기 위한 가짜 고객 서비스 에이전트 및 합성 신원을 포함합니다.[22].
딥페이크 기반 범죄의 발생 빈도가 빠르게 증가하고 있습니다. 2024년 말까지 한 분석에 따르면 다음과 같이 나타났습니다. 5분마다 새로운 딥페이크 사기가 발생하고 있었습니다. 평균[23]. 2025년 1분기에만 보고된 딥페이크 사고는 전년 동기 대비 191% 급증했습니다. 모두 2024년[24][25]. 딥페이크는 현재 약 전체 사기 공격의 6.5%, a 2022년 이후 2,137% 증가[26][27]. 필요한 기술에 쉽게 액세스할 수 있게 되었으며, 종종 다음과 같은 최소한의 30초 오디오 를 사용하여 목소리를 복제하거나, 1시간 미만의 샘플 영상으로 사람의 얼굴을 설득력 있게 모델링할 수 있습니다.[20]. 요컨대, 이보다 더 쉬웠던 적은 없었습니다. "신뢰할 수 있는 사람의 신원을 '가짜'로 만들기 피해자를 속여 돈이나 정보를 넘기도록 유도합니다.
방어적 조치 - 현실 인증: 딥페이크 위협에 대응하기 위해 조직들은 고급 보안 솔루션으로 눈을 돌리고 있습니다. 합성 미디어 감지 도구. 예를 들어 트루스캔의 AI 음성 탐지기 그리고 트루스캔 딥페이크 탐지기 AI를 사용해 오디오와 비디오를 분석하여 조작 징후를 찾아냅니다. 이러한 시스템은 프레임 단위 및 파형 분석을 수행하여 부자연스러운 얼굴 움직임, 립싱크 문제 또는 AI가 생성한 클립을 배신하는 오디오 스펙트럼 불규칙성과 같은 아티팩트를 발견합니다. 테스트 결과, 트루스캔의 알고리즘은 다음과 같은 성과를 달성했습니다. 99%+의 AI 생성 음성 식별 정확도 실시간으로 조작된 비디오 프레임을 탐지합니다.[28][29]. 실제로 지니언스 보안 센터의 연구원들은 최근 북한 해커가 사용한 위조 신분증을 분석하기 위해 트루스캔의 이미지 포렌식을 사용했는데, 트루스캔의 딥페이크 이미지 탐지기는 이 문서를 다음과 같이 진본이 아닌 것으로 표시했습니다. 98% 신뢰도스피어 피싱 시도를 차단합니다.[5][30].
실질적인 방어를 위해 기업들은 이러한 탐지 기능을 주요 접점에 배포하고 있습니다. 음성 인증 가 콜센터 워크플로우에 추가되고 있습니다. 예를 들어 '고객'이 전화로 대규모 이체를 요청하면 음성 딥페이크 탐지기를 통해 오디오를 실행하여 AI 모방이 아닌 실제 고객인지 확인할 수 있습니다. 마찬가지로, 화상 회의 플랫폼 은 참가자 비디오 스트림의 라이브 딥페이크 스캔을 통합하여 모든 합성 얼굴을 찾아낼 수 있습니다. 예를 들어, 트루스캔의 딥페이크 탐지 제품군은 다음과 같은 기능을 제공합니다. 실시간 영상 통화 분석 및 얼굴 인증 API를 통해 줌이나 웹엑스에 연결할 수 있습니다.[31][29]. 즉, 누군가가 AI가 만든 CEO의 동영상을 사용하여 회의에 참여하려고 시도하면 시스템이 피해가 발생하기 전에 '딥페이크 가능성'을 표시할 수 있습니다. 또한 중요한 거래에는 이제 콘텐츠 인증을 활용할 수 있는 확인 단계(대역 외 또는 다중 요소)가 포함되는 경우가 많습니다(예: 간단한 음성 확인을 요구한 다음 AI 음성 감지기가 진위 여부를 확인하는 방식). 이러한 도구를 계층화함으로써 기업은 안전망을 구축할 수 있습니다. 참조 또는 듣기 그럴듯한 무언가를 만들어내면 AI 포렌식은 그 실체에 의문을 제기할 것입니다. AI가 침투한 위협 환경에서, "믿지 말고 확인하라" 는 돈이나 민감한 액세스와 관련된 모든 음성 또는 영상 커뮤니케이션의 만트라가 됩니다.
AI로 제작된 멀웨어 및 난독화된 코드: 진화하는 코드 내 위협
AI의 영향력은 소셜 엔지니어링에만 국한되지 않고 멀웨어 개발과 우회 공격 코드의 판도를 바꾸고 있습니다. 2025년에 Google의 위협 인텔리전스 그룹은 다음과 같은 사실을 발견했습니다. AI를 사용한 최초의 멀웨어 변종 동안 실행하여 행동을 변경합니다.[32][33]. 한 가지 예는 프롬프터플럭스는 실제로 AI API(구글의 제미니 모델)를 호출하는 악성 스크립트였습니다. 즉석에서 자체 코드 재작성바이러스 백신 탐지를 회피하기 위해 새로운 난독화 변종을 생성합니다.[34][35]. 이러한 '적시성'을 갖춘 AI의 진화는 자율적인 다형성 멀웨어로의 도약을 의미합니다. 또 다른 샘플입니다, 프롬프트스틸는 AI 코딩 도우미를 사용하여 데이터 도용을 위한 한 줄 Windows 명령을 생성하고, 로직의 일부를 실시간으로 AI 엔진에 아웃소싱했습니다.[36][37]. 이러한 혁신은 멀웨어가 인간 펜 테스터처럼 지속적으로 스스로를 변형하여 방어 체계를 무력화할 수 있는 미래를 가리킵니다.
공격자들은 즉각적인 AI가 없더라도 개발 과정에서 AI를 사용하여 더 강력한 악성 코드를 만들고 있습니다. 생성형 AI는 다음과 같은 멀웨어를 생성할 수 있습니다. 고도로 난독화된리버스 엔지니어링을 방해하는 혼란스러운 논리 계층이 포함되어 있습니다. 위협 인텔리전스 보고서에 따르면 2025년 주요 침해사고 중 70% 이상은 다형성 악성코드와 관련이 있습니다. 탐지를 피하기 위해 시그니처나 동작을 변경하는 경우[38]. 또한, 76% 피싱 캠페인 수 이제 동적 URL 또는 AI 재작성 페이로드와 같은 다형성 전술을 사용합니다.[38]. 다크웹 오퍼링과 같은 도구 WormGPT 그리고 FraudGPT (ChatGPT의 무제한 복제본)을 사용하면 비전문가도 원하는 것을 간단히 설명하기만 하면 멀웨어 드로퍼, 키로거 또는 랜섬웨어 코드를 생성할 수 있습니다.[39]. 그 결과 새로운 멀웨어 변종이 많이 등장했습니다. 예를 들어, 2024년에 정보 도둑인 블랙맘바 이 등장했습니다. 전적으로 AI가 생성한를 사용하여 코드를 세그먼트로 작성했는데, 실행할 때마다 약간 다른 바이너리가 생성되어 기존 서명 기반 안티바이러스를 혼란스럽게 만들었습니다.[38]. 보안 연구원들은 또한 많은 엔드포인트 보호 기능을 우회할 수 있는 AI 생성 다형성 개념 증명을 시연했습니다.[40].
게다가 공격자들은 AI를 활용하여 배달 의 멀웨어를 발견할 수 있습니다. AI는 멀웨어 링크가 포함된 피싱 이메일을 지능적으로 스크립팅할 수 있습니다(설명한 대로). 또한 AI를 사용하여 새로운 취약점을 찾거나 셸 코드를 최적화하는 등 익스플로잇 개발에도 도움을 줄 수 있습니다. 국가적 공격자들은 고급 AI 모델을 사용하여 제로데이 익스플로잇을 발견하고 표적에 맞는 맞춤형 멀웨어를 개발하는 데 도움을 준 것으로 알려졌습니다.[41]. 이러한 모든 추세는 2025년의 멀웨어가 더 은밀하고 적응력이 뛰어나다는 것을 의미합니다. 종종 "AI와 '공동 제작'를 사용하여 기존 규칙으로는 탐지하기 어렵습니다.
방어 조치 - 멀웨어 방어에서의 AI 대 AI: AI로 제작된 멀웨어를 방어하려면 방어 측면에서는 고급 탐지 기능과 AI 기반 분석을 결합해야 합니다. 많은 조직에서 엔드포인트 보호 및 EDR(엔드포인트 탐지 및 대응) AI/ML 모델을 사용하여 AI 생성 코드의 동작 패턴을 찾습니다. 예를 들어, 갑작스러운 온호스트 코드 변환이나 비정상적인 API 호출 패턴은 프롬프터플럭스가 스스로 재생성하는 것과 같은 것을 나타낼 수 있습니다. 마찬가지로 네트워크 모니터링은 멀웨어가 AI 서비스에 접근하는 것과 같은 이상 징후(사용자 애플리케이션에서는 '정상적'이 아닌)를 포착할 수 있습니다. 공급업체들은 ML 기반 탐지기를 학습시키기 위해 가족 의 AI 지원 멀웨어가 지금까지 확인되어 이러한 새로운 위협에 대한 인식이 향상되었습니다.
새롭게 떠오르는 솔루션 중 하나는 개발자 및 빌드 파이프라인에 통합된 AI 콘텐츠 스캐닝. 즉, AI 기반 탐지기를 사용하여 스크립트, 소프트웨어 빌드 또는 악성 콘텐츠나 AI가 생성한 콘텐츠의 구성 변경 사항까지 분석할 수 있습니다. 예를 들어 트루스캔의 실시간 검출기 의 멀티모달 분석은 의심스러운 코드나 구성 파일이 난독화 패턴으로 기계 생성되었는지 인식하여 잠재적으로 의심스러운 코드나 구성 파일에 플래그를 지정할 수 있습니다.[42][43]. 개발팀과 MSSP는 코드형 인프라 스크립트, PowerShell 로그 및 기타 아티팩트에서 공격자의 소행일 수 있는 AI가 작성한 세그먼트의 징후를 스캔하기 시작했습니다. 이 분야는 아직 초기 단계이지만, 한 보안 팀에서는 AI 탐지기를 사용하여 AI가 생성한 것으로 '느껴지는' 난독화된 피싱 키트 파일을 포착하여 실제로 공격의 일부인 것으로 밝혀낸 사례가 있습니다.[44]. 이 파일의 코드는 지나치게 복잡하고 장황했으며(AI 생성의 특징), AI 콘텐츠 스캔 결과 사람이 작성한 것이 아닐 가능성이 높은 것으로 확인되었습니다.[40].
마지막으로, AI 위협에 초점을 맞춘 위협 인텔리전스 공유가 중요합니다. Google GTIG에서 프롬프트 기반 멀웨어에 대한 세부 정보를 게시하거나 연구자들이 새로운 AI 우회 기술을 보고하면 조직은 이를 탐지 엔지니어링에 반영해야 합니다. 행동 분석 - 같은 프로세스의 코드를 재작성하는 스크립트를 생성하는 프로세스와 같은 동작을 찾아내면 AI 지원 멀웨어가 나타내는 이상 징후를 포착할 수 있습니다. 요컨대, 방어자는 불이 나면 불로 맞서야 합니다. AI 기반 보안 도구 AI 기반 멀웨어만큼 빠르게 적응할 수 있습니다. 여기에는 AI로 강화된 안티바이러스부터 계정이나 시스템이 "인간답지 않게" 행동하기 시작하는 시점을 식별할 수 있는 사용자 행동 분석까지 모든 것이 포함됩니다. 보안팀은 방어에 AI를 도입함으로써 공격자가 AI를 통해 얻을 수 있는 속도와 규모의 이점에 대응할 수 있습니다.
합성 신원 및 AI를 이용한 사기 수법
멀웨어에서 사기의 세계로 이동하기: 합성 신원 사기 은 생성형 AI의 도움으로 폭발적으로 증가했습니다. 합성 신원 사기는 실제 데이터와 가짜 데이터(예: 실제 SSN + 가짜 이름 및 문서)를 결합하여 가상의 페르소나를 만드는 것을 포함합니다. 이러한 '프랑켄슈타인' 신원은 은행 계좌 개설, 신용 신청, 고객 신원 확인 통과에 사용되며, 결국 미지급 대출이나 자금 세탁으로 이어집니다. 이미 가장 빠르게 성장하는 사기 유형 중 하나였으며, 이제 AI가 불에 기름을 부은 격이 되었습니다. 위조 신분증 사기로 인한 손실 2023년 1조 7천 350억 달러 돌파[45]그리고 2025 년 초까지 일부 추정치에 따르면 전체 은행 사기 손실의 약 25% 합성 신원 때문이었습니다.[46]. Experian의 분석가들은 다음과 같은 사실을 발견했습니다. 신규 계정 사기 건수 80% 이상 이제 특정 시장에서 합성 ID에 연결됩니다.[19] - 이 사기가 얼마나 널리 퍼져 있는지를 보여주는 놀라운 통계입니다.
생성 AI는 몇 가지 방식으로 합성 사기를 증폭시킵니다. 첫째, AI를 활용하면 "브리더 문서" 가짜 신원을 판매하는 데 필요한 디지털 발자국. 과거에는 사기범이 신분증을 포토샵으로 보정하거나 수작업으로 가짜 공과금 청구서를 만들었습니다. 하지만 이제는 실제와 같은 프로필 사진, 신분증, 여권, 은행 명세서, 심지어 소셜 미디어 프로필까지 AI 이미지 생성기 및 언어 모델 사용[47][48]. 예를 들어, AI를 사용하여 존재하지 않는 사람의 실제 얼굴 사진을 만들고(역 이미지 검색을 방지), 해당 사진과 일치하는 가짜 운전면허증을 생성할 수 있습니다. AI는 또한 신원의 '생활 징후'를 시뮬레이션할 수도 있습니다. 가상 부모, 주소 또는 소셜 미디어 게시물에 대한 기록 배경 스토리를 구체화하기 위해[49]. 보스턴 연준은 세대 AI가 다음을 생산할 수도 있다고 언급했습니다. 가짜 인물의 딥페이크 오디오 및 비디오 - 예를 들어, 합성 사용자가 셀카 인증 동영상에 고유한 얼굴과 목소리로 '등장'할 수 있으며, 모두 AI가 생성한 것입니다.[50].
둘째, AI는 사기꾼을 돕습니다. 확장 운영할 수 있습니다. 한 번에 한두 개의 ID를 위조하는 대신 프로그래밍 방식으로 수백, 수천 개의 완전한 ID 패키지를 생성하고 새 계정 신청서를 한꺼번에 자동 채울 수 있습니다.[51][52]. 일부 다크 웹 서비스는 효과적으로 "서비스형 합성 ID"자동화를 통해 확인된 계정을 판매할 수 있습니다. 예를 들어, 코로나19 팬데믹 구호 프로그램 기간 동안 범죄자들은 AI로 생성된 신원을 가진 봇을 사용하여 대출 및 수당을 대량으로 신청하여 가짜 신청자로 시스템을 압도했습니다. 주니퍼 리서치에 따르면, 이러한 수법으로 인한 디지털 신원 사기로 인한 전 세계 비용은 다음과 같습니다. 2030년까지 153% 증가 2025년 대비[53].
방어 조치 - AI 세상에서 신원 확인: 기존의 신원 증명 방법은 AI가 만든 가짜를 막는 데 어려움을 겪고 있습니다. 이에 적응하기 위해 조직은 다음과 같은 방법을 채택하고 있습니다. 다계층 신원 및 행동 검증 AI로 강화되었습니다. 키 레이어 고급화 문서 및 이미지 포렌식. 예를 들어 트루스캔의 AI 이미지 디텍터 그리고 위조 문서 탐지기 는 업로드된 ID, 셀카 또는 문서에서 합성 또는 변조 흔적이 있는지 분석하는 기능을 제공합니다. 이러한 도구는 픽셀 수준의 아티팩트, 조명 불일치, 메타데이터를 검사하여 이미지가 AI로 생성된 것인지 아니면 조작된 것인지 판단합니다. GAN에서 생성된 사진에서 동일한 배경 패턴이나 알려진 정부 템플릿과 일치하지 않는 ID의 글꼴 및 간격과 같은 미묘한 단서를 포착할 수 있습니다. 은행은 온보딩 시 이러한 탐지기를 배포하여 신청자의 운전면허증이나 셀카가 AI로 생성되었을 가능성이 있는 경우 자동으로 플래그를 지정할 수 있습니다(예를 들어, TruthScan의 시스템은 김스쿠키 APT 피싱 사건에 사용된 가짜 군인 신분증을 플래그 지정했을 것입니다).[5]). 트루스캔의 보도자료에 따르면, 트루스캔의 플랫폼은 금융 기관에서 문서 진위 여부를 대규모로 검증하는 데 사용되어 매우 높은 정확도로 딥페이크를 식별하고 있습니다.[54].
또 다른 계층은 행동 분석 및 상호 참조 확인. 실제 신원에는 수년간의 역사, 공공 기록, 소셜 미디어 활동 등 깊이가 있습니다. AI로 생성된 신원 정보는 아무리 정교하게 다듬어져도 이러한 심층적인 뿌리가 부족한 경우가 많습니다. 은행과 대출 기관은 이제 AI를 사용하여 신청 데이터와 공공 및 독점 데이터를 상호 연관시킵니다: 이 사람의 전화번호와 이메일에 사용 내역이 표시되어 있는가? 기기 또는 IP 지리적 위치가 합당한가? 데이터를 사람이 직접 입력하는 방식으로 양식에 입력하는가, 아니면 봇처럼 복사하여 붙여넣기하는가? AI 모델은 실제 고객 행동과 합성 패턴을 구분하도록 학습시킬 수 있습니다. 연방 준비 은행은 다음과 같이 언급했습니다. "합성 아이덴티티는 얄팍하고 AI는 그것을 알 수 있습니다" - AI 기반 인증은 신원의 디지털 발자국을 빠르게 검색하고 거의 또는 전혀 발견되지 않는 경우 경보를 발생시킬 수 있습니다.[55]. 실제로 신원 확인 서비스는 사용자의 셀카가 과거 사진과 일치하는지 확인하고(얼굴이 바뀐 것을 감지하기 위해), 생동감 확인 중에 특정 포즈나 문구와 같은 무작위 동작을 사용자에게 제시하는 AI를 사용하여 딥페이크가 제대로 대응하기 어렵게 만들고 있습니다.[56][57].
마지막으로, 지속적인 모니터링 의 계정 행동에 대한 분석은 온보딩 후 누락된 합성 계정을 찾아내는 데 도움이 됩니다. 이러한 계정은 실제 인물과 연결되지 않기 때문에 사용 패턴이 눈에 띄는 경우가 많습니다(예: 신용을 쌓기 위해 완벽한 타이밍에 거래를 한 다음 최대 한도를 초과하는 경우). AI 기반 사기 모니터링(예: Sift 또는 Feedzai의 플랫폼)은 계정이 사용되는 방식에서 이상 징후를 식별하여 검토를 위해 잠재적인 합성 계정을 표시할 수 있습니다. 요약하면, AI를 이용한 신원 사기에 대응하려면 다음이 필요합니다. AI 기반 신원 증명 - 문서 포렌식, 생체 인식 확인, 데이터 상관관계 및 행동 분석을 결합합니다. 좋은 소식은 사기를 가능하게 하는 동일한 AI 기술이 사기를 탐지하는 데도 사용되고 있다는 것입니다. 예를 들어, TruthScan은 신원 확인 제품군 텍스트, 이미지, 음성 분석을 통합하여 신규 사용자를 검증하는 도구입니다. 한 대형 은행은 이러한 도구를 활용하여 업계 평균이 상승하는 동안에도 대포통장 개설 성공률이 크게 감소한 것으로 나타났습니다. 군비 경쟁은 계속되고 있지만, 방어자들은 인공지능이 아무리 흔적을 감추려고 해도 대포통장의 희미한 '디지털 신호'를 찾아내는 방법을 배우고 있습니다.
보안 스택 전반에 걸친 AI 탐지 통합
피싱, 딥페이크, 멀웨어, 합성 사기 등 여러 가지 위협 영역에 대해 살펴봤는데, 모두 AI로 인해 더욱 강력해진 위협입니다. 분명한 것은 단일 도구 또는 일회성 수정 없음 로 문제를 해결할 수 없습니다. 대신 기업에는 다음과 같은 종합적인 전략이 필요합니다. 모든 계층에 AI 기반 탐지 및 검증 기능 내장 사이버 보안 스택을 강화해야 합니다. 이러한 접근 방식은 이메일, 웹, 음성, 문서, ID 등을 포괄하는 공격 표면을 반영해야 합니다. 아래 다이어그램은 조직이 일반적인 엔터프라이즈 보안 계층에 걸쳐 TruthScan의 AI 탐지 도구(및 유사한 솔루션)를 통합하는 방법을 보여줍니다:
이메일 게이트웨이와 콜센터부터 사용자 인증 및 엔드포인트 보호에 이르기까지 보안 스택의 여러 계층에 AI 탐지 도구를 통합합니다. AI 콘텐츠 탐지(중앙)는 텍스트, 이미지, 오디오, 비디오를 실시간으로 분석하여 자산과 사용자를 보호하는 시행 지점에 제공합니다.
이 모델에서는 멀티 모달 AI 감지기가 중앙 두뇌 역할을 합니다. 다양한 보안 제어와 연동됩니다:
- 이메일 게이트웨이: 인바운드 이메일은 받은 편지함에 도달하기 전에 AI 문자/사기 탐지기를 통과합니다. 이는 앞서 설명한 피싱 방어와 관련이 있습니다. 트루스캔의 이메일 사기 탐지기 이메일 제공업체의 API를 통해 의심스러운 AI 생성 이메일을 자동으로 격리할 수 있습니다.[18]. 또한 메시징 플랫폼(채팅 앱, SMS 게이트웨이)에도 적용하여 콘텐츠에서 피싱 또는 사기 패턴을 검사할 수 있습니다.
- 콜센터 및 음성 시스템: 음성 딥페이크 탐지 기능을 통합하여 전화 및 VOIP 채널을 안전하게 보호합니다. 예를 들어, 은행의 고객 지원 라인은 다음을 사용할 수 있습니다. 트루스캔의 AI 음성 탐지기 를 사용하여 수신 발신자 음성을 실시간으로 분석하고 발신자의 음성이 인위적이거나 알려진 프로필과 일치하지 않는 경우 알림을 보냅니다.[58][59]. 이를 통해 비싱 및 음성 사칭 공격(예: 가짜 CEO 전화)이 성공하는 것을 방지할 수 있습니다.
- 사용자 신원 확인 프로세스: 계정을 만들거나 고위험 사용자 작업(비밀번호 재설정, 송금)을 하는 동안 AI 기반 신원 확인이 시작됩니다. 업로드된 사진 신분증은 이미지 포렌식 도구(예: AI가 생성한 사진인지 또는 사진의 사진인지 확인)로 검사하고, 셀카 또는 영상 통화는 딥페이크 탐지기로 검사합니다. 트루스캔의 딥페이크 탐지기 를 사용하여 카메라에 찍힌 사람이 실제 인물이고 ID와 일치하는지 확인하는 얼굴 인증을 수행할 수 있습니다.[60][61]. 행동 신호(타이핑 케이던스, 디바이스 일관성)를 AI 모델에 입력하여 봇 또는 합성 ID를 탐지할 수도 있습니다.
- 엔드포인트 및 네트워크: 엔드포인트 보안 에이전트와 프록시 서버는 파일과 스크립트에 대한 AI 콘텐츠 분석을 통합할 수 있습니다. 예를 들어, 엔드포인트 EDR이 새로운 스크립트나 EXE가 실행되는 것을 발견하면 파일의 텍스트 콘텐츠를 AI 탐지기로 전송하여 알려진 AI 생성 멀웨어와 유사한지 또는 난독화된 AI 코드의 특징을 보이는지 확인할 수 있습니다. 마찬가지로 DLP(데이터 손실 방지) 시스템은 AI 텍스트 탐지 기능을 사용하여 AI로 생성된 민감한 텍스트(내부자가 데이터 유출 메시지 초안을 작성하거나 보고서를 위조하기 위해 AI를 사용하는 것을 나타낼 수 있음)에 플래그를 지정할 수 있습니다. 트루스캔의 실시간 탐지기 는 이러한 워크플로우에 연결되도록 설계되어 자동화된 응답 옵션을 통해 여러 플랫폼에서 콘텐츠를 실시간으로 분석할 수 있습니다.[42][62] (예: 파일이나 메시지가 AI가 생성한 멀웨어 또는 허위 정보로 식별되는 경우 자동 차단).
The 주요 이점 이 통합 접근법의 장점은 속도와 일관성. 피싱 이메일, 가짜 음성, 합성 데이터가 한 번에 여러 채널을 공격할 수 있는 등 AI 공격은 빠르게 움직입니다. 이러한 모든 채널을 AI 탐지 기능으로 계측함으로써 조직은 실시간 가시성과 심층적인 방어력을 확보할 수 있습니다. 한 팀은 이를 기업에 'AI 면역 시스템'을 구축하는 것이라고 설명했습니다. 이메일, 문서 업로드, 음성 통화 등 무언가가 전달될 때마다 AI 면역 시스템이 외부(AI가 생성한) 서명을 '스니핑'하고 악성이 발견되면 이를 무력화합니다.
트루스캔의 엔터프라이즈 제품군은 다음과 같은 기능을 제공하므로 이를 잘 보여줍니다. 통합 플랫폼 모듈식으로 또는 전체적으로 배포할 수 있는 텍스트, 이미지, 오디오, 비디오 AI 탐지를 포괄합니다.[63][64]. 많은 회사에서 한두 가지 기능(예: 이메일의 텍스트 감지, 온보딩의 이미지 감지)을 먼저 배포한 후 그 가치를 확인한 후 다른 기능으로 확장합니다. 중요한 것은 통합이 개발자 친화적으로 이루어졌다는 점입니다. - TruthScan 및 이와 유사한 서비스는 보안팀이 대규모 재설계 없이 기존 시스템에 탐지 기능을 연결할 수 있도록 API와 SDK를 제공합니다. SIEM, 이메일 게이트웨이, 사용자 지정 뱅킹 앱, CRM 시스템 등 어떤 시스템에서든 탐지가 백그라운드에서 실행되어 알림 또는 자동화된 조치를 제공할 수 있습니다. 예를 들어, 한 대형 소셜 미디어 플랫폼은 콘텐츠 검토 API를 통합하여 딥페이크 동영상을 업로드 후 몇 분 이내에 자동으로 삭제했습니다.[65][66]를 통해 AI가 생성한 잘못된 정보의 확산을 방지합니다.
결론 결론: 시대를 앞서가기
2025년 AI 기반 위협의 급속한 확산으로 인해 조직은 새로운 방식으로 도전에 직면했습니다. 공격자들은 음성 및 신원을 사칭하고, 사회 공학을 자동화하고, 적응형 코드를 통해 방어를 회피하고, 전체 거짓 현실을 조작하는 등 인간의 신뢰를 대규모로 악용할 수 있는 수단을 찾아냈습니다. 방어자에게는 벅찬 전망이지만 절망적인 전망은 아닙니다. 범죄자들이 AI를 활용하는 것처럼 보안 측면에서도 AI를 활용할 수 있습니다. 다음과 같은 AI 콘텐츠 탐지, 딥페이크 포렌식 및 합성 신원 스캐너 는 이러한 새로운 위협에 대한 강력한 대응책을 제공합니다. 이러한 도구를 배포하고 모든 계층에 걸쳐 통합 방어 체계를 구축하면 기업은 AI 기반 공격의 위험을 획기적으로 줄일 수 있습니다. 얼리어답터들은 이미 딥페이크 공격을 포착하여 수백만 달러 규모의 사기 시도를 저지한 바 있습니다.[26]또는 AI가 제작한 이메일을 필터링하여 피싱 피해를 방지할 수 있습니다.
조직은 기술을 넘어 "신뢰하되 검증하는" 문화를 조성해야 합니다. 직원들은 AI 시대에는 보는 것(또는 듣는 것)이 항상 믿음이 되는 것은 아니며, 검증 워크플로와 결합된 건강한 회의주의가 많은 사회공학적 계략을 막을 수 있다는 점을 인식해야 합니다. 교육 및 인식과 함께 트루스스캔과 같은 자동화된 검증 도구강력한 방어막을 형성합니다. 어떤 의미에서 우리는 정보의 인증과 검증에 대한 기준을 높여야 합니다. 디지털 커뮤니케이션과 문서는 더 이상 액면 그대로 받아들일 수 없으며, 기계나 프로세스를 통해 출처를 확인해야 합니다.
앞으로 공격자들은 AI 전술을 더욱 정교화할 것으로 예상되지만, 방어 AI의 지속적인 혁신도 기대할 수 있습니다. 고양이와 쥐의 역학 관계는 지속될 것입니다. 방어자의 성공은 다음 사항에 달려 있습니다. 민첩성 및 인텔리전스 공유. 새로운 위협 인텔리전스(예: 새로운 딥페이크 탐지 기술 또는 업데이트된 AI 모델 서명)를 신속하게 통합하는 기업은 최신 AI 도구를 활용하는 공격자보다 앞서 나갈 수 있습니다. NIST의 AI 위험 관리 프레임워크와 같은 기관에서 나오는 경보와 프레임워크, 사기 AI 탐지에 대한 은행 간 협력에서 볼 수 있듯이 업계, 학계, 정부 간의 협력도 이 싸움에서 매우 중요할 것입니다.
결론적으로 사이버 보안 업계는 AI가 주도하는 패러다임 전환의 한가운데에 있습니다. 위협은 10년 전과는 다르지만, 그에 못지않게 전례 없는 방어 체계로 대응하고 있습니다. 고급 탐지 기술과 강력한 보안 전략의 조합을 통해 다음과 같이 대응하고 있습니다. can 생성 AI의 위험을 완화하고 심지어는 이를 유리하게 전환할 수도 있습니다. TruthScan의 AI 탐지 제품군과 같은 도구를 사용하면 다음과 같은 이점을 얻을 수 있습니다. 제로 트러스트 세상에서 신뢰 회복 - 를 통해 전화 상대방이 실제 사람인지, 받은 편지함의 문서가 진짜인지, 네트워크에서 실행 중인 코드가 악의적인 AI에 의해 변조되지 않았는지 확인할 수 있습니다. 지금 이러한 기능에 투자함으로써 조직은 오늘날의 AI 기반 공격으로부터 자신을 보호할 뿐만 아니라 미래의 진화하는 위협에 대한 복원력도 구축할 수 있습니다. 결론은 분명합니다: AI는 사이버 공격을 강화할 수 있지만, 올바른 접근 방식을 사용하면 방어력도 강화할 수 있습니다.
출처: 관련 데이터와 사례는 Mayer Brown의 사이버 사고 동향을 포함한 2025년 위협 인텔리전스 보고서와 전문가로부터 도출한 것입니다.[1][67], 포티넷의 2025년 위협 요약[2][19], AI 이메일 공격에 대한 바라쿠다 연구[6][7]구글 GTIG의 AI 위협 보고서[34], 보스턴 연방 준비 은행의 합성 사기에 대한 인사이트[45][50], 그리고 TruthScan에서 발표한 사례 연구 및 보도 자료[30][26]등이 있습니다. 이러한 사례는 AI 기반 위협의 범위와 실제 시나리오에서 AI 중심 대응책의 효과를 보여줍니다. 이러한 인텔리전스를 통해 학습하고 최첨단 도구를 배포함으로써 우리는 AI로 강화된 사이버 위험의 시대를 자신 있게 헤쳐나갈 수 있습니다.
[1] [67] 2025년 사이버 사고 트렌드: 비즈니스가 알아야 할 사항 | 인사이트 | 메이어 브라운
[2] [3] [19] 주요 사이버 보안 통계: 2025년의 사실, 통계 및 침해
[4] [11] [12] [16] [17] [20] [22] [47] [48] [52] 금융 서비스 분야의 AI 기반 사기: 최근 동향 및 솔루션 | TruthScan
[5] [26] [30] [54] 트루스캔, 국방 당국에 대한 북한의 딥페이크 공격 탐지 - 브라이언 카운티 매거진
[6] [7] [14] 받은 편지함 스팸의 절반은 AI에 의해 생성되며, 지능형 공격에 사용되는 것은 초기 단계입니다 | 바라쿠다 네트웍스 블로그
[8] [10] 2025년 2분기 디지털 신뢰 지수: AI 사기 데이터 및 인사이트 | Sift
[9] [13] [24] [25] [38] [39] 2025년 AI 사이버 보안 위협: $25.6M 딥페이크
[15] [21] 최신 위협 인텔리전스 | TruthScan
[18] [63] [64] TruthScan - 엔터프라이즈 AI 탐지 및 콘텐츠 보안
[23] [46] [56] [57] 딥페이크와 입금: 생성형 AI 사기에 대처하는 방법
[27] 딥페이크 공격 및 AI 생성 피싱: 2025년 통계
[28] [58] [59] 딥페이크 및 음성 복제를 위한 AI 음성 검출기 | TruthScan
[29] [31] [60] [61] [65] [66] 딥페이크 탐지기 - 가짜 및 AI 동영상 식별 - TruthScan
[32] [33] [34] [35] [36] [37] [41] GTIG AI 위협 추적기: AI 도구의 위협 행위자 사용의 발전 | Google Cloud 블로그
[40] 해커가 장황한 AI 코드로 멀웨어를 난독화한 사례
[42] [43] [62] 실시간 AI 탐지 - TruthScan
[44] 악의적인 AI 운영자는 AI 생성 코드와 가짜 앱을 사용하여 멀리 ...
[45] [49] [50] [51] [55] AI 세대로 인해 신원 사기의 위협이 증가하고 있습니다 - 보스턴 연방 준비 은행
[53] 신원 사기 2025: AI 탐지 및 예방 전략