Что такое токен и почему русский текст дороже

Токен — это не слово и не буква

Нейросеть не видит текст по буквам. Перед обработкой текст режется на куски из готового списка — словаря модели. В словаре десятки или сотни тысяч кусков: целые частые слова, приставки и окончания, отдельные буквы, знаки препинания, пробелы с началом слова. Каждый кусок из словаря и есть токен.

Частое слово обычно целиком помещается в один токен. Редкое или длинное разбивается на несколько. Например, слово «токенизация» словарь GPT делит на четыре части: «т», «ок», «ен», «изация». Словарь Яндекса — на три: «ток», «ени», «зация».

Провайдеры берут плату именно за токены, а не за символы или слова. Поэтому один и тот же текст в разных нейросетях стоит по-разному не только из-за цены за токен, но и из-за числа токенов.

У каждой модели свой словарь

GPT считает словарём o200k. У GigaChat, YandexGPT, T-Pro, DeepSeek, Mistral и Qwen свои словари, и все они опубликованы. Gemini считает словарём открытой модели Gemma. Anthropic и xAI словари Claude и Grok не публикуют, поэтому их токены можно только оценить.

Вот как пять словарей режут фразу «Нейросеть считает текст токенами». GPT и GigaChat — на 9 токенов, Яндекс — на 8, Qwen 3.8 — на 9, старый словарь Qwen2.5 — на 11. Её английский перевод «A neural network counts text in tokens» все пять словарей режут одинаково — на 7 токенов, по одному на слово.

Ещё нагляднее слово «Здравствуйте». У GPT, GigaChat и Яндекса это один токен. У Qwen 3.8 — два. У Qwen2.5 — шесть: «З», «д», «рав», «ств», «уй», «те».

Почему русский текст дороже

Словари собирают по большим объёмам текста: чем чаще кусок встречается, тем вероятнее он станет отдельным токеном. В таких данных обычно больше всего английского, поэтому английские слова почти всегда целые — в нашем примере все до одного. Русских кусков в словаре меньше, и русские слова дробятся сильнее.

Добавляет и грамматика. У русского слова много форм: «токен», «токена», «токенами», «токенов». Словарю не хватает места на каждую форму, и окончание часто уходит в отдельный токен.

Мы прогнали наш корпус русских и английских текстов через девять словарей. В словаре GPT русское слово занимает в среднем около 2 токенов, английское — около 1,3. То есть по-русски выходит примерно в полтора раза больше токенов на слово. У словарей, собранных с расчётом на русский, разрыв меньше: у Яндекса около 1,7 токена на русское слово против 1,5 на английское, у GigaChat и T-Pro — около 1,8 против 1,4. Хуже всего русский текст у Qwen2.5: около 2,5 токена на слово, почти вдвое больше, чем английский.

У Claude русский текст тоже дробится, но словарь закрыт, и точных цифр по кириллице пока нет. По сторонней сверке на английских текстах и коде Claude даёт в среднем примерно в полтора раза больше токенов, чем словарь GPT.

Сколько токенов в тексте

Для быстрой прикидки по нашему корпусу: 1 000 русских слов — это примерно 1 700 токенов у YandexGPT, 1 800 у GigaChat, 2 000 у GPT, 2 100 у Gemini и Qwen 3.8, 2 300 у DeepSeek и Mistral. Сбер в документации называет среднее 3–4 символа на токен.

Это средние цифры для обычной прозы, писем и переписки. Код, таблицы, JSON, числа и текст с опечатками режутся иначе. Если от числа зависит бюджет, посчитайте свой текст на главной — это быстрее, чем гадать по коэффициентам.

Новый токенизатор Claude

Число токенов меняется не только между провайдерами, но и между версиями одной модели. Начиная с Claude Opus 4.7 Anthropic перешла на новый токенизатор. По данным компании, тот же текст занимает в нём примерно на 30 % больше токенов, чем в прежних моделях. Anthropic пересчитала и ёмкость контекста: миллион токенов теперь вмещает около 555 тысяч английских слов вместо 750 тысяч.

Значит, при переходе на новую модель стоит пересчитать бюджет, даже если цена за токен не изменилась.

Вход, ответ и служебные токены

Токены считаются в обе стороны. Вход — ваш текст, инструкция и история диалога. Ответ — то, что пишет модель. Ответ почти всегда дороже: у GPT в 5–6 раз, у Claude в 5 раз, у DeepSeek в 3–4 раза. Исключение — GigaChat 2 и YandexGPT Pro: у них вход и ответ стоят одинаково.

Кроме текста, к каждому сообщению модель добавляет несколько служебных токенов — роль и разметку. Обычно это от 3 до 7 токенов на сообщение. На цену это почти не влияет, но калькулятор показывает их отдельно.

Контекст модели — это лимит на вход и ответ вместе. Если текст длиннее контекста, модель его не примет.

Как посчитать точно

Посчитайте свой текст на главной: вставьте его или загрузите файл, и калькулятор посчитает его словарём каждой модели сразу. Для GigaChat, YandexGPT, GPT-5, DeepSeek, Mistral, Qwen и T-Pro число точное. Для Claude, Grok, GPT-6 и новых Gemini — оценка с диапазоном: словарь закрыт или мы его ещё не сверили.

Режим «Как модель видит текст» показывает, на какие куски словарь разрезал именно ваш текст. Так видно, какие слова дробятся сильнее всего.