Symptoms

Назначение новых заявок перестало работать, перестали приходить все уведомления на почту

В логах

docker logs -f root_celeryworker_1

[2024-04-03 13:53:05,095: ERROR/MainProcess] consumer: Cannot connect to redis://redis:6379/0: Error -3 connecting to redis:6379. Lookup timed out..
Trying again in 32.00 seconds... (16/100)


[2024-04-03 13:53:57,556: ERROR/MainProcess] consumer: Cannot connect to redis://redis:6379/0: Error -3 connecting to redis:6379. Lookup timed out..
Trying again in 32.00 seconds... (16/100)

Resolution

Устранено в хотфиксе 2.16.3

Root cause

Да, в момент установки хотфикса так же обновился redis - брокер очередей, в котором мы складываем запланированные задачи.

И выстрелил редкий баг celery, который не может подключиться к редису после рестарта.

Переключили режим с --pool=eventlet на thread, после чего все работает корректно.

Internal Resolution

Убрать --pool=eventlet в start-celery скрипте