
ИИ-стартап
Начните с пустой стойки. Установите GPU, выберите модель и пригласите пользователей. Учебные задания помогут понять, что ограничивает работу сервиса.
ИгратьРазберитесь, как модель размещается на GPU, почему запросы ждут в очереди и как нагрузка влияет на время ответа. Начните с игры или задайте свой сценарий в калькуляторе.

Начните с пустой стойки. Установите GPU, выберите модель и пригласите пользователей. Учебные задания помогут понять, что ограничивает работу сервиса.
Играть
Задайте поток запросов, модель и GPU. Сравните RPS, очередь, задержку первого токена, KV-кэш и стоимость аренды. Используйте пример или загрузите CSV.
Открыть калькуляторЧисло запросов в секунду, приходящих в сервис. Длинные вопросы и ответы требуют больше работы, поэтому одинаковый RPS может создавать разную нагрузку.
В памяти GPU хранятся веса модели и промежуточные данные обрабатываемых запросов — KV-кэш. Свободная память сама по себе не гарантирует быстрый ответ.
Несколько GPU могут вместе обслуживать одну копию модели. Независимые копии принимают разные запросы. Очередь растёт, когда сервис не успевает обрабатывать входящий поток.
Это учебные инструменты, а не аппаратные бенчмарки. Скорости и совместная обработка запросов заданы допущениями. Для выбора рабочей инфраструктуры нужны замеры с вашей моделью и программой запуска. Импортированные файлы обрабатываются в браузере.