Как мы обновляем MLOps инфраструктуру под LLM модели

AI & ML

Проблема - LLM модели в разы тяжелее класических моделей, нашли несколько узких мест.
Переработали инфраструктуру под решение с легким универсальным образом. Расскажем чуть детальнее

О СПИКЕРЕ

Более 3х лет внедряю и развиваю MLOps-платформы в ТОП-10 банках РФ.
Развиваю agile-команды в бурном мире MLOps

JUNIOR

Марк Кузнецов

Альфабанк, Нижний Новгород
Руководитель центра развития MLOps практики