人为删除存储模板引发大规模故障｜快快云厦门泉州可用区事故完整复盘

近期快快云发布一则故障致歉补偿公告，厦门、泉州弹性云可用区1出现重大业务事故。这次事故不是硬件故障、不是磁盘损坏，而是Ceph分布式存储池关键模板数据被人为恶意删除，直接造成大量用户业务受损，也是快快云运营13年以来最严重的一起安全事件。

事故起因：人为恶意删除Ceph存储关键数据

根据官方公开公告说明，厦门/泉州弹性云可用区1，Ceph分布式存储池系统模板关键数据遭到人为恶意删除，直接波及该可用区大量云服务器、存储业务，众多租户线上服务受到严重影响。

这类故障和普通硬盘损坏、网络波动完全不一样。Ceph作为主流分布式存储，本身具备多副本冗余，硬件层面故障具备很强容错能力；但人为恶意删除核心元数据、模板配置，副本会同步跟着被清除，传统磁盘备份很难兜底，恢复难度极高。

当前进度：警方介入，数据恢复进行中

官方表示事件已经移交警方开展调查工作，受损用户的数据正在有序恢复，预计8月19日完成全部数据恢复工作。同时公告内特别鸣谢魔方ceph团队、字节跳动存储项目团队提供技术支援，协助处理复杂的数据恢复难题。

同时也感谢官方团队努力恢复用户数据与坦诚面对，相信经过此次事件，类似情况或许不会再出现，作为用户还是要坚持定期备份数据。

官方公布用户补偿方案

补偿分为两类用户：

• ① 未退机退款的受影响用户：每台补偿60天机器时长 + 100元现金，或者选择100元代金券二选一；
• ② 已经退机退款的受影响用户：每台补偿100元现金或100元代金券；并且可以在2027‑01‑01之前，申请同等配置机器，享受60天免费使用。

事故暴露出的云厂商管理风险

做站长这么多年，见过很多云服务商宕机：停电、硬件故障、DDoS攻击、程序bug，但是人为恶意删除核心存储元数据属于少见的高危事件。哪怕存储有多副本，内部高权限账号一旦作恶，多副本机制反而会同步销毁数据。

快快云在公告也坦诚，本次事故给企业管理流程、人员安全敲响警钟。官方已经公布整改计划：本月底前完成CIO首席信息官任命，组建全新信息安全内控团队，完善全流程权限风控体系。

给所有站长的几点实战提醒

• 1、不要把全部希望寄托厂商多副本存储。云厂商的多副本是防硬件损坏，不是防人为删库，重要业务务必自己定期异地备份源码与数据库；
• 2、养成每天定时备份网站全量数据的习惯，尽量做到多方备份，本地、对象存储、其他云服务商多位置留存备份文件。一旦遭遇类似故障，能够快速恢复全部业务，把损失降到最低，避免长期积累的建站成果付诸东流。
• 3、不要所有业务跑在单一可用区，条件允许做跨可用区容灾；
• 4、选择服务商的时候，除了看价格带宽，也要关注厂商内部权限管控、安全内控能力；
• 5、遇到云服务商重大故障，保存订单、故障截图，留存证据，及时跟进官方补偿通道。

环球云域小结

再成熟的分布式存储架构，也抵御不住内部高权限账号的恶意操作。硬件可以靠技术冗余，但是人员、权限管控属于管理层面的难题。

对于我们站长而言，无论服务商宣传稳定性有多强，自己手里握一份独立异地备份，才是数据最后的防线。日常坚持多渠道备份，才可以在各类突发事故面前掌握主动权，守护好自己长期运营的数据成果。数据恢复需要时间用户的信任经不起等待。