Контекстное окно
Также: context window, окно контекста
Максимальный объём текста, который языковая модель удерживает «в поле зрения» за один раз: и ваш запрос, и данные, и предыдущий диалог. Измеряется в токенах.
Контекстное окно — сколько информации языковая модель может учитывать одновременно: текущий промпт, переданные данные, историю переписки и собственный ответ. Всё это должно поместиться в окно; что выходит за его пределы, модель «не видит».
Токены, а не символы
Объём измеряется в токенах — кусочках слов (примерно 2–3 токена на русское слово). Современные модели держат от десятков тысяч до миллиона и более токенов — это сотни страниц текста за раз.
Почему это важно на практике
Чем больше окно, тем больше данных ассистент удержит: например, статистику по всем кампаниям аккаунта сразу, а не по кусочкам. Но есть нюанс — модель не отправляет в окно всё подряд: хорошо спроектированный ассистент подтягивает только релевантные данные, чтобы не забивать контекст лишним и не терять точность.
Direct Manager отдаёт ассистенту не сырые выгрузки, а компактные, уже посчитанные выводы (находки, прогнозы, сводки) — это экономит контекстное окно и делает ответы точнее.