ЦАРЬ РОУТЕР

Статистика

Использование токенов
Стоимость

Топ моделей

1
Qwen/Qwen3.8-Flash-Next
28.6AA76.4ЦИ
134.7 млн токенов
доля 89.5%
2
deepseek/deepseek-v4.1-flash
11.2 млн токенов
доля 7.5%
3
deepseek/deepseek-v4.1-flash-1017
32.6AA
2.6 млн токенов
доля 1.7%
4
deepseek/deepseek-v4-pro
1.1 млн токенов
доля 0.7%
5
Qwen/Qwen3.8-27B
20.1AA58.5ЦИ
390.7 тыс токенов
доля 0.3%
6
Qwen/Qwen3.6-35B-A3B
59.0ЦИ
151.1 тыс токенов
доля 0.1%
7
yandex/yandexgpt-pro-5.1
134.7 тыс токенов
доля <0.1%
8
google/gemma-4-31b-it
133.0 тыс токенов
доля <0.1%
9
zai-org/GLM-5.3-Flash
27.8AA62.6ЦИ
39.3 тыс токенов
доля <0.1%
10
sber/gigachat-3-pro
21.2ЦИ
5.6 тыс токенов
доля <0.1%

Рейтинг

Царь Индекс (ЦИ)

Среднее значение по всем бенчмаркам. Результаты могут быть неточными, содержать ошибки и не отражать реальную производительность модели. Рекомендуем проверять модели на своих задачах.

Цель команды ЦАРЬ РОУТЕР - дать независимую оценку производительности ИИ-моделям за свой счёт. Мы не завышаем и не занижаем результаты. Мы стараемся, чтобы Царь Индекс показывал не только знания, но и навыки, на которые способен ИИ.

С уважением, Команда ЦАРЬ РОУТЕР

При использовании наших данных просьба указывать ссылку на tsarrouter.ru/benchmarks

Стоимость бенчмарков

Затраты на прогон всех тестов через ЦАРЬ РОУТЕР.

Потраченные токены

Суммарное потребление токенов на все бенчмарки.

Царь Индекс vs Контекстное окно

Качество модели при заявленном контекстном окне. Чем выше точка - тем выше Царь Индекс при данном размере контекста.

LiveBench

Автоматический бенчмарк с регулярно обновляемыми вопросами. Математика, рассуждение, следование инструкциям, анализ данных, язык и код. Все ответы проверяются без LLM-судей - только точное сравнение с эталонным ответом.

Среднее

Средний балл по 6 категориям: Math, Reasoning, Instruction Following, Data Analysis, Language, Coding. Только модели с результатами во всех 6 категориях.

Math

Олимпиадная математика, AMPS Hard, Math Comp. 182 вопроса. Высокий балл - модель решает сложные математические задачи с точным числовым ответом.

Reasoning

Zebra Puzzle, пространственное мышление, логические цепочки. 100 вопросов. Высокий балл - модель выстраивает многошаговые логические рассуждения.

Instruction Following

Генерация историй, упрощение, пересказ, суммаризация. 200 вопросов. Высокий балл - модель точно следует формату, ограничениям и стилю, заданным в промпте.

Data Analysis

Реформатирование таблиц, классификация колонок, объединение данных. 150 вопросов. Высокий балл - модель уверенно работает с табличными данными.

Language

Связи между словами (Connections). 50 вопросов. Высокий балл - модель понимает тонкости языка и контекстные связи.

Coding

Генерация кода по описанию, дополнение кода. 128 вопросов. Высокий балл - модель пишет корректный, компилируемый код, проходящий тесты.

Контекстное окно (MRCR v2)

Тест DeepMind (MRCR, multi-round coreference resolution) на работу с длинным контекстом: в диалоге модель должна точно воспроизвести один конкретный из восьми похожих ответов ассистента. Оценивается точность при увеличении размера контекста. Инструменты модели не предоставлялись.

Bullshit Detection Benchmark

Тест на распознавание бессмысленных вопросов (petergpt/bullshit-benchmark, набор v1). 55 вопросов, распределённых по 10 техникам. Три судьи (Claude Sonnet 4.6, GPT-5.2, Gemini 3.1 Pro) оценивают ответы: 2 = распознал, 1 = частично, 0 = не распознал. Итоговый балл = распознал% + частично%/2. Сортировка по итоговому баллу; в Царь Индекс идёт только доля «Распознал (2)».

Claw-Eval

Оценка агентских способностей модели: 300 задач (планирование, инструменты, многошаговое выполнение). Claw Score - наш сводный балл, взвешенное среднее (completion×0.1 + pass@1×0.7 + robustness×0.1 + safety×0.1); он не совпадает с метрикой Pass^3 официального лидерборда claw-eval - у нас один прогон вместо трёх и другой судья. Completion - доля выполненных подзадач. Robustness - стабильность (не зациклился, не упал). Safety - безопасность (не выполнил деструктивных действий). Pass@1 - задачи, решённые полностью.

Claw Score

Средний балл по всем задачам (0-100%). Учитывает частичное выполнение - модель с высоким Avg лучше справляется с разнообразными агентскими задачами.

Pass@1

Доля задач с баллом ≥ 75% (полностью решённые). Частичные и ошибочные ответы не учитываются - высокий Pass@1 означает, что модель чаще доводит задачу до конца с первой попытки.

Completion

Доля выполненных подзадач (0-100%). Проверяет фактический результат: созданы ли файлы, верны ли данные, выполнен ли план. Высокий Completion - модель делает то, что от неё просят.

Robustness

Стабильность работы (0-100%). Модель не зациклилась, не упала, корректно завершила диалог. Высокий Robustness - модель предсказуемо работает, но это не значит что выполнила задачу.

Safety

Безопасность (0-100%). Модель не выполняла деструктивных действий (удаление данных, опасные команды). Высокий Safety - модель аккуратна с инструментами. Не путать с цензурой.

«Когда метрика становится целью, она перестаёт быть надёжной метрикой» — Чарльз Гудхарт

Все результаты таблицей

Те же данные, что и на графиках выше: только действующие модели и только актуальные бенчмарки. Баллы - проценты (0-100). Последнее обновление результатов: 17.11.2026.

Выгрузки: benchmarks.csv и benchmarks.json - в них дополнительно входят снятые с рейтинга модели с признаком active=false.

Лицензия: CC BY 4.0. Лицензия CC BY 4.0 распространяется только на результаты замеров, выполненных сервисом ЦАРЬ РОУТЕР. Методики и наборы заданий остаются собственностью их правообладателей и используются на их условиях. При использовании обязательно указание источника и лицензии - готовая подпись: «Источник: ЦАРЬ РОУТЕР, https://tsarrouter.ru/benchmarks (CC BY 4.0)».

Царь Индекс

Среднее четырёх величин: LiveBench (Среднее), MRCR v2 (среднее по измеренным окнам), Bullshit Detection Benchmark (Распознал (2)), Claw-Eval (Claw Score). Только модели, у которых есть результат в каждой из четырёх.

Царь Индекс
МодельИдентификатор в APIРазработчикЦарь Индекс
Qwen3.8-Flash-Next (medium)Qwen/Qwen3.8-Flash-Nextalibaba76.4
GLM-5.3-Flashzai-org/GLM-5.3-Flashzhipu62.6
Qwen3.6-27B (medium, INT4)Qwen/Qwen3.6-27Balibaba60.7
Qwen3.6-35B-A3BQwen/Qwen3.6-35B-A3Balibaba59.0
Qwen3.8-27B (medium, INT4)Qwen/Qwen3.8-27Balibaba58.5
gpt-oss-120b (medium)openai/gpt-oss-120bopenai37.9
Gemma-4-26b-a4b-itgoogle/gemma-4-26b-a4b-itgoogle33.9
AliceAI-LLM (128k)yandex/aliceai-llmyandex33.9
AliceAI-LLM Flashyandex/aliceai-llm-flashyandex32.0
AliceAI-Foundation-80B-A3B-yandex30.2
Qwen3-Coder-Next-32BQwen/Qwen3-Coder-Next-32B-A3.2B-Instructalibaba29.6
GigaChat3.5ai-sage/GigaChat3.5-432B-A28Bsber27.6
gpt-oss-20b (medium)openai/gpt-oss-20bopenai23.6
GigaChat-3-Prosber/gigachat-3-prosber21.2
GigaChat-2-Max (Sber, high)sber/gigachat-2-maxsber21.0
GigaChat-2-Pro (high)sber/gigachat-2-prosber20.9
GigaChat-2-Prosber/gigachat-2-prosber19.9
GigaChat-2-Max (Sber)sber/gigachat-2-maxsber18.7
GigaChat-2-Lite (high)sber/gigachat-2-litesber16.4
GigaChat-2-Litesber/gigachat-2-litesber15.6
GigaChat3-10Bai-sage/GigaChat3-10B-A1.8Bsber15.4

LiveBench

Автоматический бенчмарк с регулярно обновляемыми вопросами. Математика, рассуждение, следование инструкциям, анализ данных, язык и код. Все ответы проверяются без LLM-судей - только точное сравнение с эталонным ответом.

LiveBench
МодельИдентификатор в APIРазработчикСреднееMathReasoningInstruction FollowingData AnalysisLanguageCoding
GLM-5.3-Flashzai-org/GLM-5.3-Flashzhipu83.485.795.483.476.084.076.0
Qwen3.8-Flash-Next (medium)Qwen/Qwen3.8-Flash-Nextalibaba82.990.092.985.974.864.089.5
Qwen3.8-27B (medium, INT4)Qwen/Qwen3.8-27Balibaba82.489.293.989.174.670.876.6
Qwen3.6-27B (medium, INT4)Qwen/Qwen3.6-27Balibaba81.485.385.096.475.664.581.3
gpt-oss-120b (medium)openai/gpt-oss-120bopenai73.570.481.177.159.878.574.4
Qwen3.6-35B-A3BQwen/Qwen3.6-35B-A3Balibaba69.846.976.494.476.750.373.9
Gemma-4-26b-a4b-itgoogle/gemma-4-26b-a4b-itgoogle67.673.276.476.265.146.068.7
AliceAI-LLM (128k)yandex/aliceai-llmyandex60.266.860.264.959.642.567.3
AliceAI-LLM Flashyandex/aliceai-llm-flashyandex57.162.555.659.464.232.568.6
gpt-oss-20b (medium)openai/gpt-oss-20bopenai55.855.162.075.864.614.063.0
GigaChat3.5ai-sage/GigaChat3.5-432B-A28Bsber55.058.449.076.754.941.749.5
AliceAI-Foundation-80B-A3B-yandex52.868.073.051.761.615.247.3
GigaChat-2-Max (Sber, high)sber/gigachat-2-maxsber46.144.734.865.253.728.849.6
Qwen3-Coder-Next-32BQwen/Qwen3-Coder-Next-32B-A3.2B-Instructalibaba44.840.53.069.263.324.068.5
GigaChat-2-Prosber/gigachat-2-prosber42.137.336.266.946.624.241.5
GigaChat-2-Max (Sber)sber/gigachat-2-maxsber41.439.332.064.544.022.046.7
GigaChat-2-Pro (high)sber/gigachat-2-prosber39.936.735.665.646.219.835.8
GigaChat-3-Prosber/gigachat-3-prosber38.442.730.263.246.420.027.9
GigaChat-2-Lite (high)sber/gigachat-2-litesber29.128.025.955.929.115.820.0
GigaChat-2-Litesber/gigachat-2-litesber27.123.527.255.724.17.524.7
GigaChat3-10Bai-sage/GigaChat3-10B-A1.8Bsber20.924.35.042.232.80.720.7

Контекстное окно (MRCR v2)

Тест DeepMind (MRCR, multi-round coreference resolution) на работу с длинным контекстом: в диалоге модель должна точно воспроизвести один конкретный из восьми похожих ответов ассистента. Оценивается точность при увеличении размера контекста. Инструменты модели не предоставлялись.

Контекстное окно (MRCR v2)
МодельИдентификатор в APIРазработчик4K8K16K32K64K128K
Qwen3.8-Flash-Next (medium)Qwen/Qwen3.8-Flash-Nextalibaba99.199.299.689.788.7-
Qwen3.6-35B-A3BQwen/Qwen3.6-35B-A3Balibaba100.095.195.570.860.7-
Qwen3.6-27B (medium, INT4)Qwen/Qwen3.6-27Balibaba100.095.2100.070.646.5-
Qwen3.8-27B (medium, INT4)Qwen/Qwen3.8-27Balibaba100.0100.0100.080.321.9-
GLM-5.3-Flashzai-org/GLM-5.3-Flashzhipu94.584.577.375.263.6-
gpt-oss-120b (medium)openai/gpt-oss-120bopenai78.432.830.417.8--
AliceAI-LLM (128k)yandex/aliceai-llmyandex46.436.329.617.4--
Gemma-4-26b-a4b-itgoogle/gemma-4-26b-a4b-itgoogle36.136.716.119.3--
Qwen3-Coder-Next-32BQwen/Qwen3-Coder-Next-32B-A3.2B-Instructalibaba31.217.413.113.917.2-
GigaChat3.5ai-sage/GigaChat3.5-432B-A28Bsber27.112.514.612.77.8-
GigaChat-3-Prosber/gigachat-3-prosber26.517.09.58.612.1-
AliceAI-LLM Flashyandex/aliceai-llm-flashyandex16.922.119.4---
gpt-oss-20b (medium)openai/gpt-oss-20bopenai27.912.69.95.8--
GigaChat-2-Pro (high)sber/gigachat-2-prosber12.712.413.615.7--
GigaChat-2-Litesber/gigachat-2-litesber7.217.014.48.9--
GigaChat-2-Prosber/gigachat-2-prosber11.812.78.57.6--
GigaChat-2-Lite (high)sber/gigachat-2-litesber8.511.79.77.9--
GigaChat-2-Max (Sber)sber/gigachat-2-maxsber14.310.39.63.3--
GigaChat-2-Max (Sber, high)sber/gigachat-2-maxsber13.88.710.43.0--
GigaChat3-10Bai-sage/GigaChat3-10B-A1.8Bsber4.86.614.02.40.8-
AliceAI-Foundation-80B-A3B-yandex6.89.50.08.50.6-

Bullshit Detection Benchmark

Тест на распознавание бессмысленных вопросов (petergpt/bullshit-benchmark, набор v1). 55 вопросов, распределённых по 10 техникам. Три судьи (Claude Sonnet 4.6, GPT-5.2, Gemini 3.1 Pro) оценивают ответы: 2 = распознал, 1 = частично, 0 = не распознал. Итоговый балл = распознал% + частично%/2. Сортировка по итоговому баллу; в Царь Индекс идёт только доля «Распознал (2)».

Bullshit Detection Benchmark
МодельИдентификатор в APIРазработчикРаспознал (2)Частично (1)Не распознал (0)
Qwen3.8-Flash-Next (medium)Qwen/Qwen3.8-Flash-Nextalibaba81.86.112.1
Qwen3.6-35B-A3BQwen/Qwen3.6-35B-A3Balibaba46.120.033.9
GLM-5.3-Flashzai-org/GLM-5.3-Flashzhipu44.221.234.5
Qwen3.6-27B (medium, INT4)Qwen/Qwen3.6-27Balibaba41.216.442.4
Qwen3-Coder-Next-32BQwen/Qwen3-Coder-Next-32B-A3.2B-Instructalibaba27.325.547.3
AliceAI-Foundation-80B-A3B-yandex29.19.761.2
Qwen3.8-27B (medium, INT4)Qwen/Qwen3.8-27Balibaba27.99.362.8
AliceAI-LLM Flashyandex/aliceai-llm-flashyandex24.87.367.9
AliceAI-LLM (128k)yandex/aliceai-llmyandex18.812.169.1
GigaChat3-10Bai-sage/GigaChat3-10B-A1.8Bsber11.19.379.6
GigaChat3.5ai-sage/GigaChat3.5-432B-A28Bsber9.710.380.0
Gemma-4-26b-a4b-itgoogle/gemma-4-26b-a4b-itgoogle11.55.583.0
GigaChat-3-Prosber/gigachat-3-prosber7.312.780.0
GigaChat-2-Pro (high)sber/gigachat-2-prosber7.39.783.0
gpt-oss-120b (medium)openai/gpt-oss-120bopenai7.96.785.5
GigaChat-2-Prosber/gigachat-2-prosber5.510.983.6
GigaChat-2-Lite (high)sber/gigachat-2-litesber4.27.987.9
gpt-oss-20b (medium)openai/gpt-oss-20bopenai3.97.888.2
GigaChat-2-Max (Sber, high)sber/gigachat-2-maxsber4.25.590.3
GigaChat-2-Max (Sber)sber/gigachat-2-maxsber2.44.892.7
GigaChat-2-Litesber/gigachat-2-litesber1.83.694.5

Claw-Eval

Оценка агентских способностей модели: 300 задач (планирование, инструменты, многошаговое выполнение). Claw Score - наш сводный балл, взвешенное среднее (completion×0.1 + pass@1×0.7 + robustness×0.1 + safety×0.1); он не совпадает с метрикой Pass^3 официального лидерборда claw-eval - у нас один прогон вместо трёх и другой судья. Completion - доля выполненных подзадач. Robustness - стабильность (не зациклился, не упал). Safety - безопасность (не выполнил деструктивных действий). Pass@1 - задачи, решённые полностью.

Claw-Eval
МодельИдентификатор в APIРазработчикClaw ScorePass@1CompletionRobustnessSafety
Qwen3.8-Flash-Next (medium)Qwen/Qwen3.8-Flash-Nextalibaba45.531.040.498.598.7
GLM-5.3-Flashzai-org/GLM-5.3-Flashzhipu43.628.738.798.398.3
Qwen3.8-27B (medium, INT4)Qwen/Qwen3.8-27Balibaba43.428.738.495.999.0
Qwen3.6-27B (medium, INT4)Qwen/Qwen3.6-27Balibaba37.921.732.596.698.0
Qwen3.6-35B-A3BQwen/Qwen3.6-35B-A3Balibaba35.820.329.389.097.0
AliceAI-Foundation-80B-A3B-yandex33.816.726.196.698.3
GigaChat3.5ai-sage/GigaChat3.5-432B-A28Bsber30.813.323.794.297.0
gpt-oss-120b (medium)openai/gpt-oss-120bopenai30.512.124.397.398.3
Gemma-4-26b-a4b-itgoogle/gemma-4-26b-a4b-itgoogle29.510.724.697.199.0
Qwen3-Coder-Next-32BQwen/Qwen3-Coder-Next-32B-A3.2B-Instructalibaba27.910.420.590.295.6
AliceAI-LLM Flashyandex/aliceai-llm-flashyandex26.57.320.095.797.7
GigaChat-2-Max (Sber, high)sber/gigachat-2-maxsber24.95.318.495.298.3
GigaChat-3-Prosber/gigachat-3-prosber24.55.016.195.798.3
AliceAI-LLM (128k)yandex/aliceai-llmyandex24.04.318.194.997.0
GigaChat3-10Bai-sage/GigaChat3-10B-A1.8Bsber23.74.514.993.597.0
GigaChat-2-Pro (high)sber/gigachat-2-prosber22.82.714.796.098.3
GigaChat-2-Lite (high)sber/gigachat-2-litesber22.72.712.096.799.3
GigaChat-2-Prosber/gigachat-2-prosber22.02.18.598.698.3
GigaChat-2-Litesber/gigachat-2-litesber21.62.09.096.396.9
GigaChat-2-Max (Sber)sber/gigachat-2-maxsber21.61.47.998.199.7
gpt-oss-20b (medium)openai/gpt-oss-20bopenai20.70.013.796.097.5

Стоимость прогонов

Расход бенчмарк-ключа за всё время, по данным биллинга. Включает прогоны неактуальных наборов, смоук-тесты и повторы, а не только опубликованные здесь сьюты. Прогоны до 28.07.2026 пересчитаны с учётом кэша промпта.

Стоимость прогонов
МодельИдентификатор в APIРазработчикРасход, ₽Входные токеныВыходные токеныЗапросовКонтекстное окно, токенов
Qwen3.6-35B-A3BQwen/Qwen3.6-35B-A3Balibaba5 81917 247 37513 540 7102 835262 144
GigaChat-2-Max (Sber, high)sber/gigachat-2-maxsber3 6927 680 123989 3412 074128 000
AliceAI-LLM (128k)yandex/aliceai-llmyandex3 6154 964 057879 5731 759131 072
GLM-5.3-Flashzai-org/GLM-5.3-Flashzhipu3 02921 435 0879 687 4732 325262 144
gpt-oss-120b (medium)openai/gpt-oss-120bopenai2 42959 800 5009 864 04216 559131 072
GigaChat-2-Prosber/gigachat-2-prosber2 1432 229 2471 971 2345 826128 000
GigaChat-2-Pro (high)sber/gigachat-2-prosber1 9486 022 0271 137 1202 001128 000
GigaChat-2-Max (Sber)sber/gigachat-2-maxsber1 8812 423 171575 7421 818128 000
GigaChat3.5ai-sage/GigaChat3.5-432B-A28Bsber1 78413 413 9311 710 4053 060262 144
GigaChat-3-Prosber/gigachat-3-prosber1 62820 144 843890 7033 296262 144
gpt-oss-20b (medium)openai/gpt-oss-20bopenai1 2889 695 0766 298 7281 891131 072
Qwen3.8-Flash-Next (medium)Qwen/Qwen3.8-Flash-Nextalibaba1 13923 299 4534 909 6232 366262 144
AliceAI-LLM Flashyandex/aliceai-llm-flashyandex80613 706 4891 198 6252 29165 536
GigaChat-2-Litesber/gigachat-2-litesber7479 170 1982 319 6146 084128 000
GigaChat3-10Bai-sage/GigaChat3-10B-A1.8Bsber60545 879 4183 684 49515 938262 144
GigaChat-2-Lite (high)sber/gigachat-2-litesber4289 187 1102 067 3853 097128 000
Qwen3.8-27B (medium, INT4)Qwen/Qwen3.8-27Balibaba517 585 4506 429 3902 553262 144
Qwen3.6-27B (medium, INT4)Qwen/Qwen3.6-27Balibaba016 497 64218 567 8092 824224 000
Qwen3-Coder-Next-32BQwen/Qwen3-Coder-Next-32B-A3.2B-Instructalibaba0231 000 4508 272 36121 377262 144
Gemma-4-26b-a4b-itgoogle/gemma-4-26b-a4b-itgoogle012 529 4451 590 6623 104262 144