SM GPU CALC / INFERENCE LAB

От нагрузки — к своему GPU-пулу

Задайте поток запросов. Найдите очередь. Раскройте реплику до отдельной карты.

01 / INPUT

—

02 / FIFO

—

04 / OUTPUT

—

0.00 s

—

—

TTFT p95

—

—

—

request_id,arrival_ms,input_tokens,output_tokens
r1,0,1000,100
r2,200,500,80