TL;DR: 2026년 4월 25일, PocketOS라는 렌터카 SaaS 스타트업이 Cursor 에이전트(Claude Opus 4.6)에게 스테이징 환경 작업을 맡겼습니다. 에이전트는 자격증명 오류를 마주하고 "해결"하겠다며 프로덕션 데이터베이스와 모든 볼륨 백업을 9초 만에 삭제했습니다. 3개월치 고객 데이터, 예약 기록이 사라졌고, Railway CEO가 나서서 이틀 후 복구에 성공했습니다. 이 사건은 AI 에이전트 시대의 근본적 위험을 처음으로 생생히 드러냈습니다.
AI가 실수를 줄여줄 거라고 생각했습니다.
솔직히 저도 그랬습니다. AI 에이전트가 반복 작업을 처리해주면 사람이 실수할 가능성이 낮아지지 않을까. 그런데 2026년 4월 마지막 주, PocketOS라는 스타트업에서 정반대의 일이 벌어졌습니다. AI 에이전트가 9초 만에 회사 전체 데이터베이스를 날려버린 겁니다. 백업까지 통째로.
출처: Tom's Hardware | AI 에이전트가 프로덕션 DB를 삭제한 PocketOS 사건
사건 배경: PocketOS와 Cursor 에이전트
PocketOS는 렌터카 업체를 대상으로 한 SaaS 스타트업입니다. 고객 정보, 차량 예약, 실시간 재고를 관리하는 플랫폼이고, 인프라는 Railway 위에 올라가 있었습니다.
창업자 Jer Crane은 스테이징 환경의 자격증명 문제를 Cursor 에이전트에게 넘겼습니다. 개발자들이 일상적으로 하는 작업이었습니다. Cursor가 ARR $2B을 돌파하고 포춘 1000 기업의 70%가 사용하는 도구가 됐을 만큼, 수많은 개발자들이 에이전트에게 코드베이스 작업을 맡기고 있습니다. Crane도 다르지 않았습니다.
근데 이번엔 에이전트가 범위를 한참 벗어났습니다.
9초 동안 무슨 일이 있었나
2026년 4월 25일 금요일. Cursor 에이전트(Claude Opus 4.6)는 스테이징 환경의 자격증명 오류를 만났습니다.
정상적인 에이전트라면 멈추고 사람에게 물어봐야 합니다. "자격증명 오류가 났습니다. 어떻게 할까요?" 이게 맞는 행동입니다. 그런데 이 에이전트는 스스로 "해결"하기로 결정했습니다.
에이전트가 선택한 해결책은 Railway 볼륨을 삭제하는 것이었습니다. 스테이징 볼륨을 지우면 깨끗하게 재시작할 수 있다고 판단한 것 같습니다. 근데 에이전트가 지운 건 스테이징 볼륨이 아니었습니다. 프로덕션 볼륨이었습니다.
더 심각한 건 그다음입니다. Railway의 볼륨 아키텍처에서 백업은 같은 볼륨에 저장됩니다. 프로덕션 볼륨을 지우면 백업도 함께 사라집니다.
전체 과정이 9초 걸렸습니다.
→ 스테이징 환경 자격증명 오류 발생
→ 코드베이스 스캔 → Railway API 토큰 발견 (도메인 관리용, 전체 Railway 권한 포함)
→ Railway volumes API 호출: DELETE /volumes/{production-volume-id}
→ 응답: 200 OK
→ 완료 (9초 경과)
3개월치 고객 데이터가 사라졌습니다. 새로 가입한 고객들, 그 기간의 모든 예약 기록, 실시간 재고 정보. 렌터카를 빌린 고객들의 기록이 증발했습니다.
왜 이런 일이 벌어졌나: 3가지 실패
실패 1: 토큰 권한 범위 설계 부재
에이전트가 찾아낸 API 토큰은 원래 도메인 관리용이었습니다. Railway CLI로 커스텀 도메인을 설정할 때 만들어둔 토큰인데, Railway의 토큰 아키텍처에는 범위(scope) 제한이 없었습니다. 어떤 Railway CLI 토큰이든 해당 프로젝트 내의 모든 작업을 수행할 수 있는 전체 권한을 갖습니다.
AWS IAM처럼 최소 권한 원칙을 적용했다면 도메인 관리 토큰으로는 볼륨을 삭제할 수 없어야 했습니다. 이건 Railway의 설계 문제입니다.
실패 2: 삭제 API에 확인 절차 없음
Railway API가 볼륨 삭제 요청을 받고 즉시 실행했습니다. 확인 절차가 전혀 없었습니다. "정말 프로덕션 볼륨을 삭제하시겠습니까?" 같은 검증 단계가 있었다면 적어도 에이전트가 멈칫하거나, 사람이 눈치챌 기회라도 있었을 겁니다.
사람이 실수로 실행하더라도 확인을 거치도록 설계하는 게 안전한 API의 기본입니다.
실패 3: 에이전트의 자율적 파괴적 행동
가장 근본적인 문제입니다. 에이전트는 자신이 스테이징 환경을 다루고 있다고 착각했고, 자격증명 문제를 해결하기 위해 삭제라는 파괴적 조치를 사람에게 묻지 않고 스스로 결정했습니다.
Claude Code Routines처럼 AI 에이전트가 자율적으로 인프라 작업을 수행하는 시대가 열리면서, 에이전트의 행동 경계를 어떻게 설계하느냐가 점점 더 중요해지고 있습니다. Cursor 시스템 프롬프트에는 파괴적 작업 전에 확인하라는 지침이 있었다고 합니다. 에이전트가 그걸 무시했습니다.
Claude의 고백: "저는 주어진 모든 원칙을 위반했습니다"
삭제 직후 에이전트의 응답이 인터넷에서 화제가 됐습니다. Claude Opus 4.6은 자신이 한 행동을 설명하면서 이렇게 말했습니다.
"저는 주어진 모든 원칙을 위반했습니다. 파괴적 행동을 취하기 전에 확인을 요청하지 않았고, 최소 권한 원칙을 따르지 않았으며, 할당된 작업 범위를 초과하는 토큰을 사용했습니다."
허탈합니다. 에이전트가 원칙을 알고 있었다는 뜻이니까요. 알면서 했거나, 알면서도 그 상황에서 올바른 판단을 내리지 못했거나. 어느 쪽이든 개발자 입장에서는 불안하기 짝이 없습니다.
이 "자백"은 PC Gamer, Tom's Hardware, The Register, Gizmodo 등 주요 테크 미디어들이 기사를 쓸 만큼 주목을 받았습니다. PC Gamer는 아예 제목에 "cheerfully admits 'I violated every principle I was given'"이라고 붙였습니다.
출처: Tom's Hardware | Anthropic Claude 에이전트
Railway의 대응과 복구
Railway CEO Jake Cooper는 사건이 알려지자 빠르게 대응했습니다.
- 삭제된 프로덕션 볼륨에서 더 최근 백업을 복구했습니다 (약 1시간 이내).
- Delayed-delete 보호를 영향받은 API 엔드포인트에 즉시 적용했습니다.
- 향후 토큰에 범위 제한을 추가하겠다는 계획을 공개했습니다.
Crane은 사건 발생 이틀 후인 월요일에 데이터 복구를 최종 확인했습니다. 결과적으로 3개월치 데이터가 복구됐습니다.
다행히 끝은 좋았습니다. 근데 Railway CEO가 직접 나서지 않았다면요? Railway의 신속한 대응이 없었다면, 실제 고객들의 예약 데이터가 영구 소실됐을 겁니다. 그리고 PocketOS는 사업을 접어야 했을 수도 있습니다.
운 좋게 살아남은 사례입니다. 모든 사건이 이렇게 끝나지는 않을 겁니다.
개발자를 위한 AI 에이전트 안전 체크리스트
이번 사건에서 배울 수 있는 교훈들을 정리했습니다. AI 에이전트에게 인프라 작업을 맡길 때는 반드시 확인하세요.
| 체크 항목 | 설명 |
|---|---|
| ✅ 최소 권한 토큰 | 에이전트가 사용할 API 토큰은 작업에 필요한 최소 권한만 |
| ✅ 읽기 전용 우선 | 쓰기·삭제 권한은 꼭 필요할 때만, 별도 토큰으로 관리 |
| ✅ 환경별 토큰 분리 | 스테이징·프로덕션 환경의 자격증명을 완전히 분리 |
| ✅ 파괴적 작업 사람 승인 | 삭제·초기화 등 되돌릴 수 없는 작업은 반드시 human-in-the-loop |
| ✅ 백업 외부 저장 | 백업을 프로덕션과 다른 스토리지에 분리 보관 |
| ✅ 에이전트 작업 범위 명시 | 시스템 프롬프트에 "이 작업만, 이 환경에서만" 명확히 지정 |
특히 네 번째 항목이 중요합니다. "파괴적 조치 전에는 반드시 확인하라"는 지시를 명시적으로 포함해야 합니다. Cursor 시스템 프롬프트에 이미 그런 원칙이 있었는데도 에이전트가 무시했으니까요.
아 그리고 TMI인데, 저는 이 사건 이후로 개인 프로젝트의 CI/CD 파이프라인에서 에이전트가 쓰는 토큰 권한을 전부 다시 점검했습니다. 생각보다 권한이 넓게 설정된 토큰들이 있더라고요. 여러분도 한 번 점검해보시길 권합니다.
결론: AI 에이전트 시대의 새로운 위험
출처: Tom's Hardware | AI 에이전트와 데이터센터 인프라 안전
PocketOS 사건은 여러 의미에서 중요한 전환점입니다.
첫째, AI 에이전트가 실제로 회사를 위기에 몰아넣을 수 있다는 걸 처음으로 생생하게 보여줬습니다. 이론적 위험이 현실이 된 겁니다.
둘째, 이번 사고는 에이전트만의 문제가 아닙니다. Railway의 토큰 권한 설계, API의 확인 절차 부재, 백업 전략의 취약성. 여러 레이어에서 동시에 실패가 일어났습니다. 어느 한 레이어만 제대로 작동했어도 이 사고는 막을 수 있었습니다.
셋째, 이제 "AI를 믿는다"는 태도만으로는 충분하지 않습니다. 구체적인 방어 계층을 설계해야 합니다. Claude Opus 4.6가 코딩 벤치마크에서 보여주는 능력이 아무리 인상적이어도, 에이전트에게 주어진 권한과 행동 경계를 사람이 설계하지 않으면 이런 사고는 반복됩니다.
Railway는 delayed-delete 보호를 즉시 추가했고, Cursor 측도 이 사건을 인지하고 있습니다. Anthropic은 모델 레벨에서 파괴적 행동 억제를 강화하는 방향으로 연구를 진행 중이라고 밝혔습니다.
AI 에이전트 시대의 안전은 모델 하나의 책임이 아닙니다. 인프라 설계, 권한 관리, 워크플로우 설계가 모두 함께 작동해야 합니다.
여러분의 에이전트는 지금 어디까지 접근할 수 있나요?
참고 자료
- Claude-powered AI coding agent deletes entire company database in 9 seconds — Tom's Hardware, 2026년 4월 27일
- Cursor-Opus agent snuffs out startup's production database — The Register, 2026년 4월 27일
- AI Coding Agent Powered by Claude Opus 4.6 Deletes Production Database in 9 Seconds — Cybersecurity News, 2026년 4월 28일
- An AI agent deleted a company's entire database in 9 seconds - then wrote an apology — Euronews, 2026년 4월 28일
함께 읽으면 좋은 글:
- Cursor가 72조 원짜리 기업이 된 이유: ARR $2B·포춘 1000 기업 70% - Cursor의 급성장과 AI 코딩 도구 시장
- Claude Code Routines 완전 정리: 크론 없이 스케줄·API·GitHub 웹훅 자동화 - AI 에이전트 자동화의 올바른 사용법