AI 보안 위협, 무엇이 달라졌나: 자동화 공격·취약점 탐색·피싱 대응 가이드

 

AI로 자연스러운 메일을 쓰고 반복 작업을 처리하는 시대입니다. 같은 능력이 공격자에게 넘어가면 어떻게 될까요? 공격 준비를 빠르게 하고, 상대에 맞춘 속임수를 대량으로 만들며, 소프트웨어의 약점을 분석하는 데도 활용할 수 있습니다. 그렇다고 AI가 어떤 시스템이든 단번에 뚫는다는 뜻은 아닙니다. 우리가 살펴봐야 할 변화는 ‘마법 같은 해킹’보다 공격의 속도·규모·개인화, 그리고 도구를 실행하는 권한입니다.

개인이라면 메시지 속 링크 대신 공식 앱에서 요청을 확인하고 주요 계정의 인증을 강화하세요. 기업이라면 외부에 노출된 시스템, 계정 권한, AI 에이전트가 사용할 수 있는 도구부터 점검해야 합니다. 아래에서는 AI 보안 위협을 세 가지 공격 유형으로 구분하고, AI를 쓰는 우리 쪽의 위험과 대응 순서까지 연결합니다. 자료 확인 기준일은 2026년 10월 6일입니다. 가상 상황은 설명을 위한 예시이며 실제 피해 후기나 자체 실험 결과가 아닙니다.

1. AI 자동화 공격: 새로운 공격보다 반복 비용이 낮아진다

전통적인 공격에도 자동화는 있었습니다. AI가 더해지면 단순히 정해진 일을 반복하는 것에서 나아가, 입력된 정보를 요약하고 결과에 따라 다음 작업을 고르는 데 도움을 줄 수 있습니다. 공개 정보 조사, 문서 번역, 메시지 작성 같은 준비 과정의 시간이 줄어들면 같은 인력으로 더 많은 대상을 살필 가능성이 생깁니다. 따라서 ‘AI 공격’이라는 이름만 보고 완전히 새로운 기술만 대비하면 기존의 취약한 계정이나 오래된 서버를 놓칠 수 있습니다.

Microsoft는 2026년 10월 1일 공개한 디지털 방어 보고서 소개에서 공격자가 정찰, 사회공학, 악성코드·취약점 악용 개발 등에 AI를 활용한다고 설명했습니다. 동시에 현재 활용의 상당 부분은 기존 공격 과정의 특정 단계에 집중되어 있다고 밝혔습니다. 이 관찰은 모든 공격이 완전 자율 방식으로 바뀌었다는 주장과 구분해야 합니다.

가상 예시: 작은 회사가 채용 공고와 팀 소개를 공개했다고 가정해 보겠습니다. 공격자가 그 정보를 바탕으로 직무에 어울리는 문서 공유 안내를 준비한다면, 수신자는 익숙한 업무처럼 받아들일 수 있습니다. 방어의 질문은 ‘이 문장은 AI가 썼나?’가 아니라 ‘내가 요청한 문서인가, 공식 업무 채널에서 확인되는가?’입니다. 문장의 출처보다 요청의 정당성을 확인하는 습관이 더 직접적인 대응이 됩니다.

2. AI가 취약점을 찾고 침투한다는 말, 어디까지 확인됐나

취약점 탐색과 침투 성공은 서로 다른 단계입니다. 코드에서 위험해 보이는 부분을 찾았더라도 실제 실행 조건이 맞아야 하고, 외부에서 접근할 수 있는지도 확인해야 합니다. 인증이나 네트워크 제한이 걸려 있으면 결과가 달라집니다. AI의 분석 능력이 좋아진다는 이유만으로 ‘모든 약점은 곧바로 침투로 이어진다’고 이해하면 위험 평가가 흐려집니다.

실제 관찰 사례도 있습니다. Anthropic은 2025년 11월 13일 발표에서 그해 9월 발견한 사이버 첩보 활동을 설명했습니다. 회사에 따르면 공격자는 Claude Code를 이용한 프레임워크로 약 30개 대상을 노렸고 일부에서 성공했습니다. AI가 취약점 조사와 코드 작성 등 작업에 관여했지만, 사람이 대상을 정하고 주요 판단에 개입했습니다. 회사는 AI가 존재하지 않는 자격증명을 만들어내거나 공개 정보를 비밀 정보처럼 보고한 오류도 함께 공개했습니다.

이것은 공급업체가 자사 서비스에서 관찰·분석한 사례입니다. 발표에 등장하는 자동화 비중을 모든 AI 모델의 일반적인 침투 성공률로 확대해서는 안 됩니다. 실험 환경에서의 성과 역시 실제 조직의 방어 환경과 별개입니다. 기업이 여기서 얻을 실무적 결론은 공격자가 검토할 수 있는 양이 늘어날 수 있다는 점입니다. 자산 목록과 업데이트 책임자가 정리되어 있지 않다면, 새 AI 방어 도구를 도입하기 전에 그 공백을 줄이는 편이 합리적입니다.

3. 정교해진 피싱 메일과 사이트: 맞춤법보다 행동을 확인한다

피싱은 상대가 스스로 로그인 정보나 돈을 넘기도록 속이는 공격입니다. 생성형 AI는 자연스러운 문장과 직무에 맞춘 설명을 만드는 데 쓰일 수 있습니다. 따라서 어색한 번역이나 맞춤법 오류가 없다는 이유로 안전하다고 판단해서는 안 됩니다. 완성도 높은 디자인, 익숙한 로고, 친절한 고객 안내 문구 역시 진위를 증명하지 않습니다.

가상 예시: 협업 도구의 저장공간이 초과되었다는 메일을 받았다고 가정해 보겠습니다. ‘업무 파일이 곧 삭제되니 지금 로그인하라’는 요구가 자연스럽게 쓰여 있고 회사명도 들어 있습니다. 이때 메일의 버튼을 눌러 확인하기보다 평소 사용하는 공식 앱이나 저장해 둔 주소로 접속해 같은 경고가 있는지 보는 편이 낫습니다. 메시지에 적힌 전화번호로만 확인하면 확인 경로 자체도 공격자가 제공했을 수 있습니다.

주소창의 HTTPS 자물쇠는 연결이 암호화되었다는 의미이지 해당 사이트가 믿을 만하다는 보증이 아닙니다. 로그인 화면을 보기 전에 실제 도메인을 확인하고, 낯선 페이지가 비밀번호와 인증코드를 함께 요구한다면 입력을 멈추세요. 송금 계좌 변경이나 급한 결제를 요구할 때는 기존에 알고 있던 담당자 연락처로 별도 확인하는 원칙을 세워 두는 것이 좋습니다. AI 작성 여부를 맞히는 것보다 확인 절차를 고정하는 것이 핵심입니다.

4. 공격자의 AI와 우리 회사의 AI 위험은 구분해야 한다

‘AI를 이용한 공격’과 ‘AI 서비스가 공격받는 상황’은 겹칠 수 있지만 같은 말은 아닙니다. 앞의 세 유형은 공격자가 AI를 도구로 사용하는 경우입니다. 반면 우리가 쓰는 AI가 외부 메일이나 웹페이지의 지시를 잘못 받아들이는 문제는 AI 시스템 자체의 설계와 권한 문제입니다. 한쪽만 점검하면 다른 쪽의 위험이 남습니다.

OWASP는 프롬프트 인젝션과 과도한 실행 권한을 생성형 AI 애플리케이션의 주요 위험으로 정리합니다. 프롬프트 인젝션은 모델이 처리하는 자료 속의 악성 지시 때문에 의도한 작업을 벗어나는 문제를 뜻합니다. 실제 피해의 범위는 연결된 데이터와 도구, 시스템 구조에 따라 달라집니다. 단순히 답변하는 챗봇과 메일 발송·파일 수정까지 하는 에이전트는 같은 기준으로 볼 수 없습니다.

가상 설계 예시: 회의 자료를 요약하는 AI에는 우선 필요한 폴더의 읽기 권한만 줍니다. 외부 발송이나 문서 삭제는 별도 승인 단계로 분리하고, 작업 기록과 접근 철회 방법을 마련합니다. ‘악성 지시를 따르지 말라’는 문구만 추가하는 것으로 충분하다고 가정하지 말고 실제 도구 권한을 제한해야 합니다. 업무에 필요하지 않은 기능을 빼는 것은 AI의 판단이 틀렸을 때 피해가 확산되는 범위를 줄이는 방법입니다.

5. 유형별로 무엇을 확인할까: AI 탐지보다 확인 경로

아래 표는 공식 보고서를 그대로 재구성한 공격 분류가 아니라, 이 글에서 독자의 판단을 돕기 위해 만든 점검표입니다. 단서 하나만으로 공격이라고 확정할 수는 없습니다. 평소와 다른 요청이 나타났을 때 어떤 경로로 사실을 확인할지 정해 두는 용도로 활용하세요. 피싱 여부가 확실하지 않더라도 민감한 입력이나 실행을 잠시 멈추고 확인할 수 있습니다.

상황	살펴볼 단서	먼저 할 일
개인화된 피싱	익숙한 업무를 빌미로 급한 로그인·결제 요구	공식 앱과 기존 담당자 연락처에서 요청 확인
반복적인 계정 공격	요청하지 않은 인증 알림, 낯선 로그인 기록	승인을 누르지 말고 계정 보안 화면 확인
노출 시스템의 취약점 위험	업데이트 지연, 관리 책임자가 없는 서비스	외부 노출과 패치 상태를 책임자와 점검
AI 에이전트의 권한 오용	요약 작업 중 불필요한 발송·삭제 요청	작업 중단 후 도구 권한과 기록 확인

예를 들어 인증 알림이 여러 번 왔다고 해서 AI가 개입했다고 단정할 수는 없습니다. 중요한 것은 자신이 시작하지 않은 로그인 요청에 승인하지 않는 것입니다. 회사에서는 사용자가 의심스러운 메일을 쉽게 신고할 수 있게 하고, 담당자가 요청·계정·접속 기록을 연결해 확인하도록 절차를 정리합니다. 공격의 기술 이름을 정확히 맞히는 데 시간을 쓰기보다, 계정이나 자료를 넘기는 행동을 중단할 수 있는 경로가 먼저 필요합니다.

6. 개인과 기업의 대응 우선순위: 인증·업데이트·권한

개인은 주로 사용하는 이메일부터 보호하는 것이 좋습니다. 여러 서비스의 비밀번호 재설정 안내가 그 계정으로 오기 때문입니다. 서비스마다 다른 비밀번호를 사용하고 비밀번호 관리 도구를 활용하며, 지원되는 계정에는 다중 인증을 설정하세요. CISA는 기업에 피싱에 저항하는 인증 방식을 목표로 권고합니다. 지원되는 서비스에서 패스키나 보안키 같은 방식을 검토하되, 복구 수단과 분실 시 절차도 함께 확인해야 합니다.

다중 인증이 있다고 해서 아무 로그인 화면에 인증코드를 입력해도 되는 것은 아닙니다. 코드를 요구받았을 때는 자신이 정상적인 서비스에서 시작한 로그인인지 확인하세요. 브라우저·운영체제·앱의 업데이트도 미루지 않는 편이 좋습니다. 이런 기본 관리가 AI 보안 위협이라는 이름 때문에 뒤로 밀려서는 안 됩니다.

기업은 ‘외부에 노출된 서비스의 목록과 담당자 확인 → 주요 계정 인증 강화 → 패치 적용 상태 점검 → 불필요한 권한 회수 → 로그와 대응 절차 점검’ 순서로 공백을 찾을 수 있습니다. 이는 모든 조직에 동일한 순서를 강제하는 기준이 아니라 작은 조직을 위한 시작점입니다. 실제 우선순위는 보유 자산과 현재 사고 여부에 따라 달라집니다. AI 도입 부서에는 접근 가능한 데이터, 실행 가능한 도구, 승인 단계, 권한 철회 책임자를 한 장으로 기록하게 해 보세요.

7. 이미 링크를 눌렀다면 입력·실행 여부부터 정리한다

링크를 열기만 한 상황, 비밀번호를 입력한 상황, 파일을 실행한 상황은 대응이 다릅니다. 그렇다고 링크만 열었으니 무조건 안전하다고 단정할 수도 없습니다. 무엇을 했는지 시간 순서로 정리하면 지원 담당자가 범위를 판단하는 데 도움이 됩니다. 받은 메시지의 제목, 접속 시각, 입력한 정보의 종류를 기록하되 비밀번호나 인증코드 자체를 메모해 다른 사람에게 보내지는 마세요.

비밀번호를 입력했다면 신뢰할 수 있는 기기에서 공식 서비스에 접속해 변경하고, 서비스가 제공하는 로그인 세션·연결 앱·복구 정보를 점검하세요. 같은 비밀번호를 쓴 다른 계정도 변경해야 합니다. 파일을 실행했거나 회사 기기가 관련되었다면 사내 보안·전산 담당자에게 즉시 알리고 안내를 따르세요. 의심스러운 파일을 다시 실행하거나 임의로 흔적을 지우는 행동은 피하는 것이 좋습니다. 금전이 오갔다면 해당 금융기관의 공식 연락처로 신속하게 연락해야 합니다.

전체 요약: AI는 자동화 공격의 준비와 반복을 돕고, 취약점 분석과 정교한 피싱에도 활용될 수 있습니다. 그러나 취약점 발견이 곧 침투 성공을 뜻하지 않으며, 특정 업체가 관찰한 사례를 모든 공격의 능력으로 일반화할 수는 없습니다. 개인은 공식 경로 확인과 계정 인증을, 기업은 패치·최소 권한·기록과 대응 절차를 우선하세요. AI 에이전트를 쓰는 경우에는 답변의 정확성뿐 아니라 실제로 어떤 자료에 접근하고 어떤 행동을 실행할 수 있는지도 함께 점검해야 합니다.

---

공식 출처 및 확인 기준

자료 확인: 2026년 10월 6일. 아래 자료는 실제 관찰 보고서와 방어 권고, 위험 분류를 구분해 참고했습니다. 이 글은 공격 실행 지침이 아닌 예방·대응을 위한 설명입니다.

• Microsoft: 2026 디지털 방어 보고서 소개 — 2026년 10월 1일.
• Anthropic: AI를 활용한 사이버 첩보 활동 관찰 보고 — 2025년 11월 13일, 11월 14일 수정.
• OWASP: LLM01:2025 프롬프트 인젝션
• OWASP: LLM06:2025 과도한 실행 권한
• CISA: 기업의 다중 인증 권고
• CISA: 다중 인증 설정 안내

#AI보안위협 #AI해킹 #자동화공격 #피싱예방 #사이버보안 #프롬프트인젝션 #계정보안