OSTUM Desktop

Как измерить скорость Zarum на своём ПК

Разберите три числа из встроенного теста и сравните их с замерами на Ryzen 7 7435HS и RTX 4050 Laptop.

Что ждать от ноутбука с 6 ГБ видеопамяти

Для OSTUM мы измерили короткий ответ Zarum 9B на Ryzen 7 7435HS с 16 ГБ ОЗУ и RTX 4050 Laptop 6 ГБ. На этой конфигурации есть и CPU, и ускорение CUDA. Результат помогает оценить порядок скорости для короткого запроса.

РежимЧто измерилиРезультат
CUDAЗагрузка модели11,0 с
CUDAПервый токен после загрузки0,25 с
CUDAГенерация 32 выходных токенов13,1 токена/с
CPU, 8 потоковОтдельный прогон с 24 выходными токенами6,8 токена/с

При первом вопросе пользователь ждёт и загрузку весов, и начало генерации. Для второго вопроса в той же сессии часть этой работы уже сделана. Длинная история беседы и занятая другим приложением видеокарта могут заметно изменить время.

Повторите у себя

  1. Откройте Модели и настройки. Зафиксируйте выбранную модель, сколько доступно ОЗУ и видеопамяти и какой режим использует приложение.
  2. Нажмите Измерить скорость на этом ПК. Запишите отдельно загрузку, задержку до первого токена и токены в секунду.
  3. Повторите на том же задании и с тем же контекстом. Затем отдельно попробуйте свой типичный длинный запрос. Так видно, где в вашей работе появляется задержка.

Если памяти мало, в каталоге можно попробовать Qwen3.5 2B или 4B. Zarum 9B с проектором для зрения занимает 6,60 ГБ на диске. Во время работы нужны ещё память под контекст, буферы и Windows. Скорость рисования и расшифровки следует проверять собственными задачами.

Условия замеров и требования к ПК · Обсудить свой результат

Другие руководства

Статья

ИИ судного дня

Что взять с собой, если завтра пропадёт интернет.

Установка

Как установить ИИ на ПК без интернета

Что скачает EXE и что перенести на флешке.

Excel · Pro

Как сверить два прайса по артикулу

Две учебные книги и три расхождения для проверки.

Совещания

Как превратить запись в протокол

Проверьте у каждой задачи цитату, ответственного и срок.