Le problème

Chaque nuit à 2 h, 40 vendeurs d’une place de marché envoient leurs changements de prix et de stock par une API. Chaque changement part dans une file sous forme de tâche. Des workers prennent les tâches et les écrivent dans l’index de recherche.

Pendant 30 minutes, les vendeurs envoient 5 000 tâches par seconde. Les workers en terminent 3 000. La file grossit de 2 000 tâches à chaque seconde, et un acheteur voit encore à 2 h 30 le prix de la veille.

Il faut décider du sort de la 5 000e tâche dans une seconde qui n’a de place que pour 3 000. Si personne ne décide, la file grossit jusqu’à ce que le broker manque de mémoire ou de disque.