Контекстное окно нейросети: что это, какой размер у Claude и GPT и почему длинный чат дорогой

В сентябре один мой ИИ-агент за сессию потратил около 21 миллиона токенов и ничего полезного не сделал. Он ждал фоновую задачу и раз в минуту проверял, закончилась ли она. Таких проверок набралось 60, и каждая отправляла модели всю переписку целиком, примерно 340 тысяч токенов. Ошибка была в моих правилах: про то, как устроено контекстное окно, я тогда не думал.

Разберу, что такое контекстное окно, какой у него размер у разных моделей и что я теперь делаю, чтобы длинная работа не съедала лимиты.

Что такое контекстное окно

Контекстное окно это весь текст, который модель видит, когда пишет ответ. В него входят системные инструкции, вся история переписки, присланные файлы и картинки, описания инструментов, результаты их вызовов и сам ответ, который модель сейчас генерирует. Так это описано в документации Claude, у других моделей устроено так же.

Окно меряют в токенах. Токен это кусок слова: короткое слово бывает одним токеном, длинное делится на несколько. В справке Claude есть ориентир: 200 тысяч токенов это примерно 500 страниц текста.

С обучающими данными окно путать не надо. Модель училась на огромном корпусе текстов, но в конкретном разговоре помнит только то, что лежит в окне. Отдельной памяти о прошлых сообщениях у неё нет: при каждом новом сообщении программа заново отправляет модели всю историю. Когда кажется, что модель «помнит» вчерашний чат, это значит, что клиент подложил старую переписку или её выжимку в окно.

Какой размер окна у Claude, GPT и локальных моделей

Цифры на октябрь 2026 года, по документации производителей:

Два уточнения. В Claude размер окна зависит от того, где вы работаете: в чате, в Claude Code и в Cowork у одной и той же модели он бывает разным, поэтому таблицу в справке стоит смотреть для своего случая. У локальных моделей окно по умолчанию маленькое: в моём тесте Ollama на Маке с 16 ГБ памяти было 4096 токенов, и длинный документ тихо обрезался. Как это поправить, я разбирал в статье про локальные LLM.

Агентам нужно окно побольше. Hermes Agent, например, не принимает модели с окном меньше 64 тысяч токенов: одни его инструкции и описания инструментов занимают заметную часть.

Почему длинный чат дорогой

Каждое сообщение отправляет модели всё окно. Если в переписке уже 300 тысяч токенов, то короткое «а теперь поправь заголовок» обойдётся в те же 300 тысяч на входе плюс ответ.

В API это прямые деньги. По подписке это лимиты: чем длиннее переписка, тем быстрее заканчивается пятичасовое и недельное окно. Как устроены лимиты Claude, я разбирал в отдельной статье.

Кэширование промпта снижает цену повторяющегося начала переписки, но место в окне эти токены всё равно занимают. Это прямо сказано в документации Claude.

Мой счёт из сентября устроен так же: 60 вызовов умножить на 340 тысяч токенов, получается около 20 миллионов. Сама проверка статуса стоила копейки, дорогой была история, которую агент тащил за собой в каждый вызов.

Что я после этого записал в общие правила для всех своих агентов:

• не опрашивать задачу в цикле, а ждать уведомления о завершении или одного долгого ожидания;
• новую задачу начинать в новой сессии или отдавать субагенту с коротким брифом, без всей истории;
• после примерно 200 тысяч токенов контекста передавать работу новой сессии;
• независимые вызовы отправлять пачкой в одном ходе, а не по одному.

Что происходит, когда окно заполнилось

В Claude API, если сам запрос больше окна, модель вернёт ошибку 400 «prompt is too long». Если запрос поместился, а ответу не хватило места, на моделях Claude 4.5 и новее генерация остановится на середине с причиной model_context_window_exceeded. У других API и старых моделей поведение на границе окна своё, его смотрят в документации.

В чатах и агентах до ошибки обычно не доходит. На платных планах Claude с включённым выполнением кода чат сам суммирует старые сообщения, когда переписка приближается к лимиту. Claude Code делает то же по порогу автосжатия. У моего Hermes сжатие включается на 200 тысячах токенов. После сжатия в активном контексте вместо старых сообщений остаётся сводка, и она может упустить детали. В чате Claude исходная история при этом сохраняется, но в первую очередь модель опирается на сводку, поэтому важные решения я записываю в файл, а не держу в переписке.

Чем больше окно, тем лучше ответ?

В Wordstat часто встречается фраза «контекстное окно модели сделает ответ более релевантным». Похоже на вопрос из теста. Большое окно позволяет положить в запрос больше нужных данных, и в этом смысле помогает. Но ответ от размера окна сам по себе лучше не становится.

Исследование «Lost in the Middle» (Liu и др., 2023) показало, что модели лучше используют сведения из начала и конца длинного контекста, а из середины хуже. Проверяли модели того времени, у новых разница может быть меньше. На практике я вижу похожее: если засыпать агента всем подряд, он чаще цепляется за не тот кусок. Чистое короткое окно с нужными файлами работает лучше окна, забитого старой перепиской.

Как я экономлю окно

• Одна задача, одна сессия. Между несвязанными задачами в Claude Code /clear, он ничего не стоит. Нужную сессию перед этим можно назвать через /rename и вернуться к ней через /resume.
• Смотреть, что занимает место. В Claude Code это команда /context.
• Правила и решения в файлах. В новой сессии агент читает только нужное из них, без всей прежней переписки. Как я раскладываю такой контекст по слоям, написано в статье про контекст ИИ-агента.
• Инструменты по требованию. Описание каждого подключённого инструмента занимает окно. В Claude Code описания MCP-инструментов по умолчанию подгружаются только когда нужны. У меня в Hermes так же: 46 дополнительных инструментов лежат в каталоге и подключаются по запросу.
• Субагенты. У каждого своё окно. Я даю ему цель, нужные факты и критерии приёмки, без истории основной сессии.

Коротко

Контекстное окно это всё, что модель видит в одном запросе, включая её ответ. Сейчас у топовых моделей Claude и GPT оно около миллиона токенов, у локальных по умолчанию намного меньше. Каждое сообщение отправляет окно целиком, поэтому длинный чат дорогой и по деньгам, и по лимитам. Меньше лишнего в окне значит дешевле и обычно точнее.