Context Engineering Framework

Ключевое ограничение

Transformer-архитектура создаёт n² парных связей между n токенами. Удвоение контекста — четырёхкратный рост вычислений. Но проблема не только в скорости:

Context Rot — при заполнении окна модель постепенно теряет способность точно «вспоминать» информацию. Это не обрыв, а градиентная деградация. Исследование Stanford/Meta «Lost in the Middle» доказало: модели лучше всего обрабатывают начало и конец контекста, а середина — слепая зона.

Больше контекста ≠ лучше. Каждый токен расходует бюджет внимания.

Эффективный агент: оценивает важность перед сохранением, регулярно очищает устаревшее, заменяет транскрипты компактными резюме, использует сигналы — давность, частота обращений, релевантность.

Модель из LangChain, подтверждённая Anthropic, Google ADK и Manus:

Write — Запись вовне

Сохранение информации за пределы контекстного окна для будущего использования.

Select — Извлечение нужного

Вытаскивание в контекст только релевантной информации. Три типа:

• Эпизодическая — примеры прошлого поведения (few-shot)
• Процедурная — инструкции и правила (system prompt, CLAUDE.md)
• Семантическая — факты и знания (RAG, vector search)

Паттерны: «Always-pull» — маленький набор всегда в контексте. «On-demand» — большие коллекции через embeddings + reranking. При 50+ tools — RAG для инструментов даёт 3x улучшение точности выбора.

Compress — Сжатие

Два метода в порядке приоритета:

1. Compaction (обратимое) — приоритет
2. Summarization (с потерями) — когда compaction исчерпана

Isolate — Изоляция

Разделение контекста между независимыми процессами:

• Sub-agents — отдельные контекстные окна для подзадач
• Sandbox — тяжёлые операции в изолированной среде
• State isolation — модульный state, видны только нужные поля

Удаление информации, которая существует в окружении и может быть восстановлена через инструменты. Ноль потери данных.

Когда запускать

Реализация

Когда compaction исчерпана и контекст всё ещё переполнен.

Алгоритм

Промпт для суммаризации

Двухфазная настройка (Anthropic)

1. Фаза recall — сначала максимизируй полноту (не потерять важное)
2. Фаза precision — затем убирай избыточное

Порядок именно такой. Потерять критичный факт хуже, чем оставить лишний абзац.

Не загружай всё заранее. Храни лёгкие ссылки, загружай данные динамически по мере необходимости.

Progressive Disclosure

Когда НЕ использовать JIT

• Юридические/финансовые документы — лучше предзагрузить
• Критически важные инструкции — всегда в system prompt
• Малые конфигурации — если файл <50 токенов, проще держать в контексте

Агент периодически пишет заметки в persistent storage вне контекстного окна. После сброса контекста — читает свои заметки и продолжает.

Пример: Claude Pokemon (Anthropic)

Агент вёл тысячи шагов в игре. Между compaction-сбросами сохранял: карты регионов, стратегии боёв, достижения, текущие цели. После каждого сброса контекста — читал свои заметки и продолжал без потери прогресса.

Формат заметок

Когда использовать

• Итеративная разработка с чёткими вехами
• Задачи, длящиеся дольше одного контекстного окна
• Многосессионная работа (часы/дни)

Два режима передачи контекста (Google ADK)

Каждый sub-agent может потратить десятки тысяч токенов на исследование, но возвращает главному агенту только 1-2K сжатого резюме.

100+ инструментов в контексте → context confusion, галлюцинации параметров.

Трёхуровневое решение (Manus / Philipp Schmid)

Антипаттерн: RAG для tool definitions

НЕ используй semantic search для динамической подгрузки описаний инструментов:

• Создаёт shifting context — KV-cache ломается
• Инструмент есть в ходу 1, пропадает в ходу 2 → галлюцинации
• Решение: статический, курированный набор

Стабильный префикс + переменный суффикс

Бюджет распределения токенов

Выбор техники по задаче

Этап 1: Базовая архитектура

• [ ] Разделить контекст на prefix/suffix — system prompt и tools в стабильный кешируемый блок
• [ ] Настроить token counting — мониторинг заполнения окна на каждом ходу
• [ ] Реализовать sliding window — последние N ходов в raw, остальное — по стратегии
• [ ] Always-pull context — CLAUDE.md / rules всегда в начале контекста

Этап 2: Compaction

• [ ] Tool Result Clearing — заменять raw tool outputs ссылками после N ходов
• [ ] Порог compaction — 70% заполнения окна
• [ ] Сохранять последние 3-5 raw ходов — для «ритма» модели

Этап 3: Summarization

• [ ] Промпт для суммаризации — структурированный, с явными правилами
• [ ] Порог — 85% заполнения, когда compaction исчерпана
• [ ] Двухфазная настройка — сначала recall, потом precision
• [ ] Формат — JSON с полями: decisions, progress, issues, files

Этап 4: Внешняя память

• [ ] Scratchpad — файл для заметок внутри сессии
• [ ] Долгосрочная память — vector DB или structured files
• [ ] JIT-загрузка — инструменты для динамического чтения
• [ ] Типизация памяти — episodic / procedural / semantic

Этап 5: Масштабирование

• [ ] Sub-agents — для задач, требующих глубокого погружения
• [ ] Иерархия инструментов — ≤20 ядерных, остальные через CLI
• [ ] State isolation — модульный state с selective exposure

1. «Свалить всё в контекст»

Проблема: Полная история + все документы + все инструменты = context rot.

Решение: Минимальный эффективный контекст. Каждый токен оправдан.

2. RAG для tool definitions

Проблема: Динамическая подгрузка → shifting context → KV-cache поломка → галлюцинации.

Решение: Статический, курированный набор. Tools не меняются между ходами.

3. todo.md как persistent plan

Проблема: Перезапись файла плана на каждом ходу → ~30% waste токенов.

Решение: Agent-as-Tool — отдельный Planner sub-agent, инъекция плана только когда нужно.

4. Ждать 95% контекста для compaction

Проблема: Модель уже деградировала. Эффективный контекст часто <256K даже при лимите 1M.

Решение: Pre-Rot Threshold — compaction на 70%, summarization на 85%.

5. «Org Chart» мультиагентность

Проблема: Manager → Designer → Coder → Reviewer — агенты «общаются», раздувая контекст.

Решение: Плоская архитектура. Sub-agents = функции, не собеседники.

6. Fine-tuning модели под контекст

Проблема: Локальный оптимум. Каждая новая модель делает fine-tuning устаревшим.

Решение: Context engineering как гибкий интерфейс, адаптирующийся к любой frontier-модели.

Операционные метрики

Метрики качества

Фундаментальные

1. Anthropic — Effective Context Engineering for AI Agents
2. LangChain — Context Engineering for Agents
3. Weaviate — Context Engineering: LLM Memory and Retrieval
4. Stanford/Meta — Lost in the Middle (arXiv)

Практические

5. Philipp Schmid — Context Engineering Part 2
6. Jason Liu — Two Experiments on Compaction
7. Google — Multi-Agent Framework for Production
8. Kubiya — Context Engineering Best Practices

Гайды

9. Prompt Engineering Guide — Context Engineering
10. Latitude — Context Engineering for Coding Agents
11. CodeConductor — Context Engineering Complete Guide
12. Maxim AI — Context Window Management Strategies

Техники оптимизации

13. Airbyte — 5 AI Context Window Optimization Techniques
14. Anthropic — Effective Harnesses for Long-Running Agents

Дополнительные

15. Y Combinator — Advanced Context Engineering for Agents
16. Statsig — Context Window Optimization Techniques
17. 16x Engineer — LLM Context Management Guide
18. Galileo AI — Deep Dive into Context Engineering
19. FlashAttention — Fast and Memory-Efficient Attention (arXiv)
20. Startuphub — Agentic RAG: Full System Design