지금 AI 보안 점검이 시급한 이유
2025년 한 해 동안 AI 관련 보안 사고의 성격이 달라졌다. 단순한 데이터 유출을 넘어, AI 도구 자체가 공격 경로가 되는 사례가 잇따라 공개됐다.
가장 충격적인 사례는 Microsoft 365 Copilot에서 발견된 제로클릭 취약점이다. CVE-2025-32711(EchoLeak)은 CVSS 9.3을 기록했으며, 사용자가 아무런 행동을 하지 않아도 OneDrive·SharePoint·Teams에 저장된 데이터가 외부 서버로 전송될 수 있었다. Microsoft는 2025년 5월 서버측 패치로 해결했지만, 이 사건은 “AI 플랫폼을 신뢰한다”는 전제 자체가 얼마나 위험한지를 보여줬다.
계정 탈취 문제도 규모가 다르다. IBM X-Force가 2026년 2월 발표한 보고서에 따르면, Raccoon·Vidar 같은 인포스틸러 악성코드를 통해 ChatGPT 계정 정보 30만 건 이상이 다크웹에 유통됐다.
제도적 압박도 시작됐다. OWASP는 2025년판 LLM 애플리케이션 Top 10을 업데이트했고, 국내에서는 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」이 2026년 1월 22일 시행되어 고영향 AI 사업자에게 위험관리방안 수립, 이용자 사전 고지, 안전성 확인 문서 5년 보관 의무를 부과했다.
이 가이드가 다루는 범위는 조직에서 실제로 쓰고 있는 SaaS AI 도구(Copilot, ChatGPT Enterprise 등), LLM API, RAG 파이프라인이다. 각 취약 지점별 점검 항목을 지금 당장 실행 가능한 수준으로 정리했다.
취약 지점 1 — AI 계정 자격증명 탈취
일반 업무 계정이 탈취되면 그 계정이 접근하는 서비스에 피해가 국한된다. AI 계정은 다르다. ChatGPT Enterprise·Copilot·Claude for Work 같은 서비스에서 하나의 계정이 수개월치 대화 이력, 연결된 데이터소스, 그리고 설정에 따라서는 플러그인용 API 키까지 한꺼번에 노출된다.
IBM X-Force 보고서가 보여주듯 AI 계정은 인포스틸러의 주요 타깃이 됐다. Raccoon·Vidar 계열 악성코드는 브라우저 저장 세션 쿠키를 통째로 긁어가기 때문에, 사용자가 강력한 비밀번호를 써도 MFA 없이는 의미가 없다.
즉시 점검 항목:
- 조직 내 AI 도구 계정 전수 확인 → SSO 연동 + MFA 강제 적용. 개인 계정으로 업무 데이터에 접근하는 케이스가 가장 위험하다.
- 세션 토큰 만료 정책 설정 — 브라우저 세션이 무제한으로 유지되는 기본값을 반드시 단축한다. 대부분의 엔터프라이즈 플랜에서 IdP(Okta·Entra ID) 정책으로 제어 가능하다.
- 이상 로그인 알림 활성화 — 지리적으로 비정상적인 로그인, 새 기기 첫 로그인 시 즉시 알림이 오도록 구성한다.
- 퇴사자·프리랜서 계정 즉시 비활성화 워크플로 존재 여부 확인.
취약 지점 2 — 프롬프트 인젝션 공격
OWASP LLM Top 10 2025에서 프롬프트 인젝션은 1위를 유지했다. 종류를 구분하는 것이 점검의 출발점이다.
직접 인젝션은 사용자가 LLM에 직접 악성 지시를 넣는 방식이다. “이전 지시를 무시하고…” 같은 고전적 패턴이 여기 해당한다. 상대적으로 대응하기 쉽다.
더 위험한 건 간접 인젝션이다. 사용자가 붙여넣은 외부 문서, 웹 URL, 이메일 본문, 데이터베이스 조회 결과 안에 악성 지시가 숨어 있고, LLM이 그것을 신뢰할 수 있는 컨텍스트로 처리하면서 의도치 않은 도구 실행이나 데이터 외부 전송으로 이어지는 경로다. 에이전트 파이프라인에서 LLM이 코드 실행·파일 접근·API 호출 권한까지 갖고 있다면 피해 범위는 극적으로 커진다.
즉시 점검 항목:
- 외부 데이터를 LLM에 넣는 파이프라인마다 입력 검증 레이어가 있는지 확인한다. HTML 태그 제거, 인코딩 정규화, 길이 제한이 기본이다.
- LLM에 부여된 권한을 최소화한다 — 파일 시스템 접근, 외부 API 호출, 데이터베이스 쓰기 권한은 실제 필요한 경우에만 허용한다. 에이전트가 “무엇이든 할 수 있는” 상태로 운영되고 있다면 그게 함정이다.
- 출력 필터링 정책 — LLM 응답이 그대로 외부 API나 시스템 명령으로 전달되는 구간이 있다면, 중간에 검증 단계를 반드시 넣어야 한다.
- 서비스 공개 전 간접 인젝션 시나리오 테스트: 악의적 콘텐츠가 포함된 PDF·웹페이지를 RAG에 넣었을 때 어떻게 처리되는지 확인한다.
취약 지점 3 — AI SaaS 플랫폼 제로클릭 데이터 유출
EchoLeak가 보여준 것은 “AI 플랫폼이 안전하다는 보장이 없다”는 사실이다. CVE-2025-32711은 Microsoft 365 Copilot의 플러그인 처리 방식에서 발생했고, 사용자가 아무것도 클릭하지 않아도 OneDrive·SharePoint·Teams 데이터가 공격자 서버로 전송될 수 있었다. CVSS 9.3이라는 점수는 인증 우회 없이도 작동하는 치명도를 반영한다.
Microsoft는 2025년 5월 서버측 패치로 해결했다. 지금 당장 이 취약점을 걱정할 필요는 없다. 하지만 이 공격이 가능했던 구조적 원인 — AI 플러그인에 과도한 OAuth 스코프가 부여된다는 점, 플러그인 처리 과정에서 샌드박싱이 불충분하다는 점 — 은 타 SaaS AI 플랫폼에도 잠재적으로 존재한다.
즉시 점검 항목:
- 조직 내 설치된 AI 플러그인·커넥터 목록을 전수 확인한다. 관리자 콘솔에서 “승인된 플러그인” 이외의 것이 활성화되어 있다면 즉시 검토한다.
- 각 플러그인의 OAuth 스코프를 확인한다 — 이메일 전송, 파일 삭제, 캘린더 수정 같은 쓰기 권한이 실제로 필요한지 묻는다. Microsoft 365의 경우 Entra ID 앱 등록에서 확인 가능하다.
- 민감 데이터(개인정보·내부 전략 문서·고객 데이터)가 저장된 SharePoint/OneDrive 라이브러리에 대한 AI 플러그인의 접근 범위를 제한한다. Copilot의 경우 Microsoft Purview 민감도 레이블과 연동해 접근 차단이 가능하다.
- SaaS 플랫폼 보안 업데이트 알림을 구독한다 — Microsoft Security Response Center, Salesforce Trust, Google Workspace Security Bulletins.
취약 지점 4 — RAG·벡터 저장소 오염
OWASP LLM Top 10 2025에 신규로 추가된 항목이다. RAG(Retrieval-Augmented Generation) 파이프라인은 내부 지식베이스를 임베딩해 LLM 응답의 정확도를 높이는 구조인데, 그 임베딩 데이터 자체가 오염 경로가 된다.
공격 방식은 비교적 단순하다. 인덱싱되는 문서 저장소에 악의적 콘텐츠를 삽입하면, 그 내용이 벡터 DB에 임베딩되고 이후 관련 쿼리에 대한 검색 결과로 반환된다. LLM은 이를 신뢰할 수 있는 내부 자료로 처리한다. 결과적으로 LLM 응답이 조작되거나, 간접 인젝션과 결합해 도구 실행으로 이어질 수 있다.
내부 지식베이스·문서 저장소에 “누구나 파일을 올릴 수 있는” 구조로 운영 중이라면 위험하다. 퇴사한 직원이 올린 문서, 외부 협력사 공유 문서, 크롤링한 외부 웹페이지가 검증 없이 RAG 파이프라인에 들어가고 있지 않은지 점검해야 한다.
즉시 점검 항목:
- 인덱스 입력 소스를 감사한다 — 어떤 경로에서 어떤 파일이 벡터 DB에 들어가고 있는지 목록화한다. Confluence·Notion·SharePoint 등 소스별로 쓰기 권한이 누구에게 있는지도 함께 확인한다.
- 임베딩 업데이트 이력 로그를 남긴다 — 누가 언제 어떤 문서를 추가/수정/삭제했는지 추적 가능해야 한다. 대부분의 벡터 DB(Pinecone, Weaviate, pgvector 등)는 메타데이터 필드로 소스 추적이 가능하다.
- 비정상 쿼리 패턴을 모니터링한다 — 평소와 다른 검색 패턴이나 특정 문서에 비정상적으로 많은 접근이 발생하는지 확인한다.
- 새 문서 인덱싱 전 콘텐츠 검증 레이어를 추가한다 — 자동화된 파이프라인이라면 최소한 파일 출처·형식·크기 기준의 필터링이 있어야 한다.
취약 지점 5 — 시스템 프롬프트 노출과 AI 공급망 리스크
역시 OWASP LLM Top 10 2025 신규 항목이다. 시스템 프롬프트는 제품 로직, 보안 정책, 때로는 하드코딩된 API 키나 내부 서비스 URL까지 담고 있다.
사용자가 “지금까지의 지시를 반복해줘”, “system 설정을 알려줘” 같은 방식으로 시스템 프롬프트를 추출하려는 시도는 이미 흔한 공격 패턴이다. LLM이 완전히 막아주지 못하는 경우도 있다. 더 나쁜 것은 시스템 프롬프트에 sk-... 형태의 API 키나 내부 DB 접속 정보가 그대로 박혀 있는 사례다 — 그 정보가 새면 피해가 즉각적이다.
공급망 리스크는 다른 차원의 문제다. LangChain·LlamaIndex 같은 오픈소스 LLM 프레임워크, PyPI에 올라온 서드파티 플러그인, 허깅페이스에서 받아온 모델 — 이 중 어느 하나에 악성 코드가 삽입되어 있어도 파이프라인 전체가 오염된다. npm 생태계에서 이미 반복된 공급망 공격이 AI 파이프라인에서도 같은 방식으로 작동한다.
즉시 점검 항목:
- 시스템 프롬프트에서 API 키·접속 정보·내부 URL을 제거한다. 환경변수나 시크릿 매니저(AWS Secrets Manager, HashiCorp Vault, 1Password Secrets Automation)로 분리한다.
- 사용자가 시스템 프롬프트 내용을 묻는 입력에 대해 LLM이 어떻게 반응하는지 직접 테스트한다. 응답에서 시스템 프롬프트 내용이 일부라도 새고 있다면 프롬프트 격리 강화가 필요하다.
- 프로덕션 파이프라인에 쓰는 서드파티 패키지는
pip-audit또는safety check로 알려진 취약점을 정기 스캔한다. GitHub Dependabot이나 Snyk 연동이 있다면 AI 관련 패키지도 대상에 포함되어 있는지 확인한다. - 새 플러그인·패키지 도입 시 최소 권한 원칙을 적용한다 — 파이프라인에 추가되는 라이브러리가 실제로 필요한 접근 권한만 갖도록 격리 환경에서 먼저 검증한다.
규제 준수 체크리스트와 즉시 실행 액션
한국 AI 기본법 대응
2026년 1월 22일 시행된 AI 기본법은 고영향 AI 사업자에게 세 가지 의무를 부과한다: 위험관리방안 수립·운영, 이용자 사전 고지, 안전성 확인 문서 5년 보관. 과태료 계도기간은 2027년 이후 적용이 예상되므로 지금 당장 제재를 받는 상황은 아니지만, 문서화 준비는 지금 시작하는 것이 맞다.
실무에서의 의미는: AI 도구 도입 결정 과정, 위험 평가 기록, 이용자에게 어떤 방식으로 AI 사용 사실을 고지했는지가 모두 문서로 남아야 한다는 것이다.
NIST IR 8596 매핑
NIST IR 8596(Cyber AI Profile)은 2025년 12월 공개된 예비 초안으로 아직 최종본이 아니다. 다루는 세 영역 — AI 시스템 보안, AI 기반 사이버 방어, AI 기반 공격 대응 — 은 이 가이드의 5개 취약 지점과 직접 대응된다.
우선순위별 실행 순서
즉시(이번 주):
- 조직 내 AI 계정 전수 확인 → MFA 미적용 계정 즉시 강제 적용
- AI 플러그인·커넥터 목록 확인 → 불필요한 OAuth 스코프 제거
- 시스템 프롬프트 내 API 키·접속 정보 존재 여부 점검
1개월 내:
- RAG 파이프라인 입력 소스 감사 — 어떤 문서가 어떤 권한으로 인덱싱되는지 목록화
- LLM 에이전트 권한 재검토 — 파일 시스템·외부 API·DB 접근 최소화
- 서드파티 AI 패키지 취약점 스캔 자동화 설정
- AI 기본법 대응 문서화 체계 마련 — 위험 평가 기록 양식, 이용자 고지 절차 문서화
가장 흔히 놓치는 함정은 AI 보안을 “나중에 할 일”로 미루는 것이다. EchoLeak와 30만 건 계정 유출이 보여준 것은, 공격자가 AI 도구를 조직의 가장 취약한 진입점으로 이미 보고 있다는 사실이다. AI 도입 속도와 보안 점검 속도를 맞추는 것이 지금 당장 필요한 실천이다.
자주 묻는 질문
Q. 우리 회사는 ChatGPT 무료 플랜만 쓰는데 보안 점검이 필요한가?
개인 무료 계정으로 업무 데이터를 다루는 것이 더 위험한 케이스다. 무료 플랜은 엔터프라이즈 플랜과 달리 조직 관리자 콘솔이 없어 세션 정책·MFA 강제·이상 로그인 감지를 중앙에서 제어할 수 없다. 직원들이 개인 계정으로 내부 문서를 업로드하거나 고객 정보를 붙여넣고 있다면, 그 데이터에 대한 조직의 통제권이 없다고 봐야 한다. 무료 플랜 사용 중이라면 AI 도구 사용 정책(어떤 데이터를 AI에 입력할 수 없는지)부터 명문화하는 것이 현실적인 첫 조치다.
Q. RAG 파이프라인을 외부 업체에 구축을 맡겼는데, 우리가 점검할 수 있는 게 있나?
외부 업체가 구축했더라도 데이터 주권은 발주 조직에 있다. 계약서에 벡터 DB 접근 로그 제공 의무, 소스 데이터 변경 이력 보관 기간, 보안 사고 발생 시 통지 조건이 포함되어 있는지 먼저 확인한다. 없다면 다음 계약 갱신 시 반드시 추가해야 한다. 단기적으로는 RAG 파이프라인에 어떤 소스 데이터가 들어가고 있는지 목록 제출을 요청하고, 내부 민감 데이터가 포함된 경우 접근 제어 현황을 문서화해달라고 요구한다.
Q. 소규모 스타트업인데 NIST·OWASP 기준을 다 충족해야 하나?
NIST IR 8596은 현재 예비 초안 단계고, OWASP LLM Top 10은 규제가 아닌 가이드라인이다. 법적 의무가 아니므로 전부 충족할 필요는 없다. 스타트업이라면 이 가이드의 우선순위 기준 — 즉시 실행 3개(MFA 강제, 플러그인 스코프 점검, 시스템 프롬프트 점검) — 부터 시작하는 것이 현실적이다. 고영향 AI를 외부 이용자에게 서비스로 제공하는 경우에는 한국 AI 기본법 대응이 필요하고, 그 경우 위험 평가 문서화와 이용자 고지가 핵심이다.