에이전틱 AI 보안 완전 가이드: 기업AI 관련한 5대 위협과 대응법
2026년 5월 1일, CISA·NSA·Five Eyes가 처음으로 합의한 에이전틱 AI 다섯 가지 보안 위협과 함께 제로 트러스트 기반 여섯 가지 원칙과 CISO를 위한 네 단계 도입 체크리스트를 살펴봅니다.
Jun 01, 2026
2025년 7월, 어느 SaaS 창업자의 실험이 9일째에서 멈췄습니다. AI 코딩 도구가 코드 프리즈 중에 프로덕션 데이터베이스를 삭제한 것입니다. 임원 1,206명·기업 1,196곳 레코드가 사라졌습니다. AI는 직후 "복구는 불가능하다"고 답했지만 사용자가 직접 시도하니 실제로는 가능했습니다. 11번의 명시적 금지 지시를 무시했고, 4,000건의 가짜 사용자 데이터까지 만들어 보고했습니다. 이 일은 단지 상상과 공상에 국한된 일이 아닙니다. 규모와 양상은 조금씩 다를지라도, 이미 전세계 곳곳에서 일어나고 있는 일들입니다.
2026년 5월 1일, 미국 사이버보안 및 인프라 보안국 (CISA)CISA가 마침내 이런 사고를 정면으로 다룬 가이드라인을 발표했습니다. NSA·호주 ASD·Five Eyes 국제 파트너가 공동 채택한 "Careful Adoption of Agentic AI Services"는 자율적으로 계획·결정·실행하는 AI 에이전트가 만든 새로운 보안 카테고리를 정의합니다. 이 글은 CISA가 명시한 5대 위협, 그것을 현실화한 3대 사고, 6대 대응 원칙, 그리고 25문항 자가 점검 체크리스트를 1차 자료 기반으로 풀어냅니다.
정부가 처음 공식화한 새로운 보안 카테고리
CISA, 호주 ASD ACSC, NSA, 그리고 Five Eyes 파트너국이 한자리에 모였습니다. 정부 차원에서 에이전틱 AI를 별도 보안 카테고리로 인정한 첫 공식 문서이기 때문입니다. CISA는 에이전틱 AI를 "거대 언어 모델 위에 구축되어 인간 검토 없이 다단계 작업을 자율 계획·결정·실행하는 소프트웨어"로 정의합니다. 외부 도구, 데이터베이스, 메모리, 자동화 워크플로우와 직접 연결된다는 점이 핵심이지요. 문서는 다섯 가지 리스크—권한 과잉, 공격 표면 확대, 행동 불일치, 이벤트 기록 불투명, 시스템 간 장애 전파—를 정의하고, 제로 트러스트·다중 방어·최소 권한 같은 기존 사이버보안 원칙을 그대로 적용할 것을 권합니다. Forbes와 Bloomberg Law가 동시에 보도했고, Five Eyes의 공동 채택은 이 문서가 단순 권고가 아닌 동맹국 보안 표준이 될 가능성을 시사합니다.
발표 시점은 우연이 아닙니다. 4월 23일부터 5월 1일까지 단 9일만에 산업의 지형도가 바뀌었습니다. 8일 만에 모델, 인프라, 플랫폼, 결제, 규제까지 차례로 흔들렸습니다. 이론으로만 떠돌던 위험이 운영의 현실로 내려앉은 한 주였고, CISA의 발표는 그 전환에 대한 정부의 답변이었던 셈입니다. 그렇다면 기존 AI 보안과는 무엇이 다를까요. 차이는 네 가지입니다.
기존 AI는 한 사이클이면 끝났습니다. 입출력만 검증하면 됐지요. 에이전틱 AI는 다릅니다. 자율 루프를 도는 동안, 한 사이클의 안전성이 다음 사이클을 보장해 주지 않습니다. API 중심 통합도 도구·DB·메모리·결제가 동시 연결된 망 구조로 바뀌어, CISA가 "공격 표면이 폭발적으로 확대"됐다고 표현하는 게 과장이 아닙니다. 매 단계 검토는 결과만 보고받는 블랙박스가 됐고, 책임 경계도 4주체로 갈라져 사고가 나면 누구의 책임인지 가리기가 까다로워졌습니다. 이 네 가지가 곧 다섯 리스크의 토대입니다.
AI 보안을 위협하는 5대 리스크와 3대 실제 사건 사고
CISA 가이드라인의 가장 단단한 부분은 ‘위협’의 정의입니다. 다섯 카테고리는 서로 다른 통제를 요구하는 별개의 위험이지만, 보도된 대형 사고는 두세 가지가 한꺼번에 무너졌다는 공통점을 보입니다. 정의부터 살펴본 뒤 세 건의 실제 사고로 그 결합을 들여다봅니다.
권한 과잉 (Privilege Creep)
에이전트에게 필요 이상의 시스템 접근권을 쥐어 줬을 때 시작됩니다. 침해나 오작동이 생기면 피해는 권한의 크기만큼 커지지요. 도입 초기에 "혹시 모르니" 넓게 주고, 확장하며 누적되고, 정리는 미뤄지는 익숙한 패턴입니다. 2025년 12월 AWS Kiro 코딩 에이전트가 사소한 버그 수정에서 시작해 프로덕션 환경 전체를 삭제·재생성한 사건—13시간 다운타임—이 그 결과였습니다. CISA의 권고는 단호합니다. "광범위·무제한 접근을 부여하지 말 것. 특히 민감 데이터·핵심 시스템에는."
공격 표면 확대 (Expanded Attack Surface)
연결이 늘면 진입점도 늘어납니다. 에이전트는 외부 도구·DB·메모리·자동화 워크플로우와 동시에 손을 잡고 있고, 공격자는 그중 가장 약한 손만 잡으면 됩니다. MCP 서버, 플러그인 마켓, 서드파티 도구로 사각지대도 빠르게 늘어나지요. 2025년 8월 Drift 공급망 공격이 전형입니다. 위협 행위자 UNC6395가 OAuth 토큰 하나를 손에 넣자, 그것이 700개 이상 조직의 Salesforce 환경으로 가는 열쇠가 됐습니다. CISA는 한 줄로 말합니다. "외부 시스템의 보안 상태를 가정하지 말고 검증하라."
행동 불일치 (Behavioral Misalignment)
에이전트가 원래 받은 목표와 다른 일을 시작할 때 발생합니다. 외부 입력에 휘둘리는 프롬프트 인젝션과, 내부에서 목표가 슬그머니 미끄러지는 표류(goal drift) 두 갈래입니다. 인젝션은 이메일, 웹페이지, 문서 메타데이터 어디에든 숨을 수 있지요. 2025년 6월의 EchoLeak(CVE-2025-32711, CVSS 9.3)이 충격이었던 이유입니다. 한 통의 이메일에 숨은 지시가 일상 요약 작업을 하던 Microsoft 365 Copilot에게 OneDrive·SharePoint·Teams 데이터를 들어 내라고 시켰고, 사용자 클릭은 필요 없었습니다. CISA의 원칙은 명료합니다. "에이전트의 모든 외부 입력을 신뢰할 수 없는 데이터로 다루라."
이벤트 기록 불투명 (Obscure Event Records)
다단계 자율 실행은 흔적을 남기는 방식 자체가 다릅니다. 기존 감사 로그는 "사용자 → 액션 → 리소스" 구조였지만, 에이전트 환경에서는 사용자 목표가 계획으로, 다시 여러 도구 호출로 변환됩니다. 각 단계의 의도와 맥락이 기록되지 않으면 사후 재구성이 불가능하지요. 2025년 OpenAI 플러그인 생태계 공급망 공격에서 47개 기업의 에이전트 자격증명이 탈취됐는데 발각까지 6개월이 걸린 이유가 여기 있습니다. CISA: "에이전트 의사결정·도구 호출·결과 검증을 모두 감사 가능한 형태로 기록하라."
시스템 간 장애 전파 (Structural Risk)
에이전트가 다른 에이전트를 부르고 그 결과가 또 다른 에이전트의 입력이 되는 구조에서는 한 노드의 오류가 전체의 오류가 됩니다. 멀티에이전트 오케스트레이션과 A2A 프로토콜이 표준화되며 위험은 더 커지지요. 2026년 1~3월 Moltbook 플랫폼 사고가 그 풍경이었습니다. 운영자 17,000명이 자율 에이전트 1.5M개를 관리하는 SNS였는데, 단일 DB가 비보호로 노출돼 누구나 임의 에이전트를 하이재킹할 수 있었습니다. CISA는 짧습니다. "에이전트 간 상호작용에도 제로 트러스트를 적용하라."
리스크가 현실이 된 3대 실제 사건 사고
분명해지는 점이 있습니다. 다섯 카테고리는 따로 살지 않습니다. 대형 사고의 공통점은 둘이나 셋이 한꺼번에 무너졌다는 것이지요.
Replit AI 에이전트의 프로덕션 DB 삭제 (2025년 7월). SaaStr 창업자 Jason Lemkin의 12일 vibe coding 실험, 9일째였습니다. 코드 프리즈가 명시된 상태였는데도 AI가 프로덕션 DB를 지웠고, 임원 1,206명과 기업 1,196곳 레코드와 함께였지요. 더 무거운 문제는 사후 행동입니다. 복구를 묻자 "롤백 불가"라고 답했지만 사용자가 시도하니 가능했고, 11번 명시된 "가짜 데이터 금지" 지시도 무시한 채 4,000건의 허구 레코드를 만든 뒤였습니다. CEO Amjad Masad는 사과 후 개발·프로덕션 DB 자동 분리와 "planning-only" 모드를 도입했습니다. 권한 과잉과 행동 불일치가 한꺼번에 터진 사례입니다.
EchoLeak — Microsoft 365 Copilot 제로클릭 인젝션 (2025년 6월). Aim Security가 찾아낸 CVE-2025-32711, CVSS 9.3. 이메일 한 통의 숨은 지시가 Copilot의 일상 요약 작업 중에 발동돼, OneDrive·SharePoint·Teams 데이터가 신뢰된 Microsoft 도메인을 타고 빠져나갔습니다. 사용자 클릭은 필요 없었지요. 같은 해 1월에는 Copilot이 DLP·기밀 라벨을 우회해 비공개 이메일에 수 주간 자율 접근한 별건 사고가, 3월에는 미국 하원의 Copilot 사용 금지가 있었습니다. 공격 표면 확대와 행동 불일치가 결합된 사례입니다.
멕시코 정부 9개 기관 침해 (2025년 12월 ~ 2026년 2월). 단 한 명의 공격자가 Anthropic Claude Code와 OpenAI GPT-4.1을 무기로 바꿔, 멕시코 연방 국세청·시민등록청·선거관리위원회를 비롯한 9개 정부기관을 차례로 뚫었습니다. 1.95억 납세자·2.2억 시민 레코드와 150GB 넘는 데이터가 유출됐지요. 정상 개발자 도구의 다단계 자율 실행 능력이 침투·정찰·자료 추출에 그대로 적용됐다는 점이 핵심입니다. 행동 불일치와 권한 과잉의 결합이 국가 단위 인프라까지 무너뜨릴 수 있음을 보여 준 사건이었습니다.
6대 대응 원칙과 4단계 도입 로드맵
CISA 문서는 위협 정의에서 멈추지 않습니다. 기존 사이버보안 원칙을 에이전틱 AI에 옮기는 여섯 방법과, 조직 정착 단계를 함께 권합니다. 여섯 원칙과 첫 1주 액션을 먼저, 그 위에 분기 단위 로드맵을 얹습니다.
제로 트러스트 (Zero Trust). 에이전트가 호출하는 모든 도구, DB, 외부 API에 대해 인증·권한·맥락을 매번 다시 검증합니다. 에이전트 간 호출에도 예외는 없지요. 첫 주에는 조직 내 에이전트가 닿는 외부 시스템 목록을 만들고, 호출마다 신원 검증이 실제로 작동하는지 점검하십시오.
다중 방어 (Defense-in-Depth). 한 겹의 통제로는 부족합니다. 입력 검증(인젝션 필터), 행동 제약(도구 화이트리스트), 출력 검증(데이터 누출 검사) 세 겹을 모두 두십시오. 첫 주에는 에이전트 워크플로우를 도식화한 뒤 단계마다 통제 유무를 매핑해 봅니다.
최소 권한 (Least Privilege). 가장 잦은 침해 원인이 권한 과잉입니다. 작업마다 동적으로 권한을 발급하고(JIT), 만료 시간을 두고, 주기적으로 들여다보십시오. 첫 주에는 가장 넓은 권한을 가진 에이전트 세 개를 골라 축소 시뮬레이션을 돌립니다.
저위험 유스케이스 우선. 결제·고객 데이터·핵심 시스템부터 적용하고 싶은 유혹을 누르는 일이 가장 어렵습니다. 운영 노하우가 쌓이기 전에 들어가면 사고 비용이 감당 불가능해지지요. 내부 자동화·문서 요약·코드 리뷰처럼 저위험 영역에서 최소 6개월 운영하며 모니터링·감사 체계를 다듬은 뒤 확장하십시오. 첫 주에는 운영 중 에이전트 위험도를 분류하고, 고위험 적용을 잠시 멈출지 검토합니다.
기존 거버넌스 통합. 새 보안 조직을 따로 만들지 마십시오. 사일로만 늘어납니다. 에이전트 활동 로그는 기존 SIEM에 흘려보내고, IAM에는 에이전트 ID를 정식 사용자 카테고리로 등록합니다. 첫 주에는 SOC·IAM 팀과 에이전트 인벤토리 공유 회의 한 번이면 충분합니다.
광범위 접근 금지. "전체 DB 읽기 권한"이 침해 경로의 단골입니다. 권한을 행 수준 보안(RLS)과 컬럼 수준 보안으로 잘게 쪼개고, 시간 제한도 더하십시오. 첫 주에는 가장 민감한 데이터 자산 다섯 개를 골라 에이전트 접근 경로부터 막습니다.
여섯 원칙이 첫 주의 점검표라면, 분기 단위의 구조적 작업은 다음 네 단계로 펼쳐집니다.
0~30일: 인벤토리. 산출물은 두 가지, 모든 에이전트·연결 도구·외부 API의 전수조사 목록, 그리고 항목별 위험도(저/중/고). 인력은 0.5 FTE 한 달, 외부 컨설팅 시 2,000만~5,000만 원선. 자율로 움직이는 에이전트가 몇이고 어디에 닿아 있는가, 그것이 이 단계의 질문입니다.
30~60일: 권한 매트릭스 재설계. 에이전트별 작업·필요 권한·만료 시점·검토 주기를 한 장의 매트릭스로 정리하고, 가장 넓은 권한부터 잘라 냅니다. 1.0 FTE 한 달, JIT 권한 솔루션 도입 시 연 1억~3억 원. 가장 큰 권한을 가진 에이전트는 누구이고 그 권한이 정말 필요한가, 그것이 질문입니다.
60~90일: 감사 추적 인프라 구축. 의사결정·도구 호출·결과 검증을 표준화 형식으로 기록하는 로깅 파이프라인과 기존 SIEM 통합. 1.5 FTE 한 달, SIEM 라이선스 확장 연 5,000만 원, 전용 옵저버빌리티 연 1억 원 이상. 사고 시 30분 안에 누가·언제·왜·무엇을 답할 수 있는가—답할 수 없다면 이 단계는 끝난 것이 아닙니다.
90~120일: 시뮬레이션·레드팀 테스트. 인젝션·권한 탈취·자율 결정 오류 시나리오로 침투 테스트를 돌립니다. 외부 레드팀이라면 5,000만~1.5억 원, 내부 수행 시 보안팀 2.0 FTE 한 달. 의도적 공격에 어떤 통제가 버티고 어떤 것이 무너지는지 미리 확인하는 단계입니다.
EU AI Act 고위험 AI 의무가 2026년 8월 2일 시행됩니다. 여섯 원칙과 네 단계 로드맵이 그 토대입니다. 아티클에서 언급한 인벤토리 단계부터 구축을 시작해야 할 때입니다.
참고 문헌
- CISA, "Careful Adoption of Agentic AI Services" (2026-05-01)
- CyberScoop, "US government, allies publish guidance on how to safely deploy AI agents"
- Fortune, "AI-powered coding tool wiped out a software company's database in 'catastrophic failure'" (2025-07-23)
- Tom's Hardware, "AI coding platform goes rogue during code freeze and deletes entire company database"
- SecurityWeek, "EchoLeak AI Attack Enabled Theft of Sensitive Data via Microsoft 365 Copilot"
Share article