Jour 1 10 min
AWS S3 2017 : la commande qui a retiré trop de serveurs
1 / 12 · ≈ 7 min restantes
Le problème
Mardi 28 février 2017, Virginie du Nord (US-EAST-1). Tu fais partie de l’équipe Amazon S3. Le système de facturation de S3 avance plus lentement que prévu, et l’équipe cherche pourquoi.
À 9 h 37 (heure du Pacifique), un membre de l’équipe suit un playbook établi et lance une commande. Elle doit sortir quelques serveurs d’un sous-système de S3 qui sert à la facturation.
Puis S3 cesse de répondre dans la région : plus de GET, de LIST, de PUT ni de DELETE. La console S3 tombe, comme le lancement de nouvelles instances EC2 et AWS Lambda.