Как измерить скорость Zarum на своём ПК
Разберите три числа из встроенного теста и сравните их с замерами на Ryzen 7 7435HS и RTX 4050 Laptop.
Что ждать от ноутбука с 6 ГБ видеопамяти
Для OSTUM мы измерили короткий ответ Zarum 9B на Ryzen 7 7435HS с 16 ГБ ОЗУ и RTX 4050 Laptop 6 ГБ. На этой конфигурации есть и CPU, и ускорение CUDA. Результат помогает оценить порядок скорости для короткого запроса.
| Режим | Что измерили | Результат |
|---|---|---|
| CUDA | Загрузка модели | 11,0 с |
| CUDA | Первый токен после загрузки | 0,25 с |
| CUDA | Генерация 32 выходных токенов | 13,1 токена/с |
| CPU, 8 потоков | Отдельный прогон с 24 выходными токенами | 6,8 токена/с |
При первом вопросе пользователь ждёт и загрузку весов, и начало генерации. Для второго вопроса в той же сессии часть этой работы уже сделана. Длинная история беседы и занятая другим приложением видеокарта могут заметно изменить время.
Повторите у себя
- Откройте Модели и настройки. Зафиксируйте выбранную модель, сколько доступно ОЗУ и видеопамяти и какой режим использует приложение.
- Нажмите Измерить скорость на этом ПК. Запишите отдельно загрузку, задержку до первого токена и токены в секунду.
- Повторите на том же задании и с тем же контекстом. Затем отдельно попробуйте свой типичный длинный запрос. Так видно, где в вашей работе появляется задержка.
Если памяти мало, в каталоге можно попробовать Qwen3.5 2B или 4B. Zarum 9B с проектором для зрения занимает 6,60 ГБ на диске. Во время работы нужны ещё память под контекст, буферы и Windows. Скорость рисования и расшифровки следует проверять собственными задачами.