mikhaylov.com

GPU для LLM: калькулятор нагрузки и учебная игра

Разберитесь, как модель размещается на GPU, почему запросы ждут в очереди и как нагрузка влияет на время ответа. Начните с игры или задайте свой сценарий в калькуляторе.

Серверная в учебной игре

ИИ-стартап

Начните с пустой стойки. Установите GPU, выберите модель и пригласите пользователей. Учебные задания помогут понять, что ограничивает работу сервиса.

Играть
Расчёт нагрузки и памяти GPU

Калькулятор нагрузки GPU

Задайте поток запросов, модель и GPU. Сравните RPS, очередь, задержку первого токена, KV-кэш и стоимость аренды. Используйте пример или загрузите CSV.

Открыть калькулятор

Что влияет на нагрузку

RPS

Число запросов в секунду, приходящих в сервис. Длинные вопросы и ответы требуют больше работы, поэтому одинаковый RPS может создавать разную нагрузку.

Модель и KV-кэш

В памяти GPU хранятся веса модели и промежуточные данные обрабатываемых запросов — KV-кэш. Свободная память сама по себе не гарантирует быстрый ответ.

Копии модели и очередь

Несколько GPU могут вместе обслуживать одну копию модели. Независимые копии принимают разные запросы. Очередь растёт, когда сервис не успевает обрабатывать входящий поток.

Это учебные инструменты, а не аппаратные бенчмарки. Скорости и совместная обработка запросов заданы допущениями. Для выбора рабочей инфраструктуры нужны замеры с вашей моделью и программой запуска. Импортированные файлы обрабатываются в браузере.