Connexion impossible pour certains clients

Résumé

De 16:05 à 17:10 UTC, environ une connexion au tableau de bord sur quatre a échoué. Un nœud de notre stockage de sessions n'avait plus de mémoire et refusait les nouvelles sessions. Les clients déjà connectés n'ont pas été touchés.

Impact

• 65 minutes pendant lesquelles environ 25 % des connexions ont échoué.
• Environ 1 300 tentatives de connexion ont échoué. La plupart ont réussi au deuxième essai.
• L'API et les sessions déjà ouvertes ont continué de fonctionner.

Chronologie (UTC)

• 16:05 Les erreurs de connexion commencent à augmenter.
• 16:11 L'ingénieur d'astreinte commence l'analyse.
• 16:32 Un nœud du stockage de sessions est trouvé à court de mémoire.
• 16:49 Le nœud est remplacé et les connexions se rétablissent.
• 17:10 Le taux d'erreur est normal depuis 20 minutes.

Cause racine

Après une modification de configuration une semaine plus tôt, les sessions expirées n'étaient plus supprimées de ce nœud. Sa mémoire s'est remplie lentement jusqu'à ne plus pouvoir accepter de nouvelles sessions.

Ce que nous changeons

• Le réglage d'expiration est désormais vérifié automatiquement sur chaque nœud.
• Nous alertons dès qu'un nœud dépasse 75 % de mémoire utilisée.
• Le taux d'erreur de connexion déclenche maintenant directement l'astreinte.