Токен (в нейросетях)
Также: токены LLM, tokens
Единица текста, которой оперирует языковая модель: кусочек слова длиной в несколько символов. В токенах измеряются контекстное окно и стоимость работы ИИ.
Токен — «атом» текста для языковой модели. Модель не читает буквы и слова как человек: текст нарезается на токены — частые кусочки слов. Русское слово в среднем занимает 2–3 токена, английское — 1–2. Фраза «контекстная реклама» — это примерно 5–6 токенов.
Где токены встречаются на практике
- Контекстное окно измеряется в токенах: сколько текста модель «видит» разом.
- Тарификация API — облачные модели берут деньги за токены (отдельно входящие и исходящие), поэтому длинные промпты и ответы стоят дороже.
- Лимиты ответа — «модель оборвала текст» обычно значит «кончился лимит токенов на ответ».
Зачем это знать не-разработчику
Токены — причина, по которой ИИ-сервисам важно быть экономными: если ассистент тянет из рекламного кабинета сырые таблицы на тысячи строк, он сжигает контекст и деньги. Хорошая интеграция отдаёт модели уже посчитанные компактные выводы. Direct Manager так и устроен: MCP-инструменты возвращают сжатые результаты (находки, сводки, планы), а не дампы отчётов.