Le problème

3 h 04 du matin. L’alimentation du serveur PostgreSQL primaire d’une boutique en ligne lâche. Les deux réplicas tournent toujours. Les 12 serveurs applicatifs visent encore la machine morte, et chaque paiement échoue sur une erreur de connexion.

L’astreinte se réveille à 3 h 11, se connecte à 3 h 19 et promeut un réplica à la main à 3 h 26. La boutique a perdu 22 minutes de commandes, et personne ne sait si les dernières commandes avant la panne étaient arrivées sur le réplica.

La boutique veut que la prochaine bascule se fasse sans personne, en moins de 30 secondes.