論文の概要: Context Compaction Theory

• arxiv url: http://arxiv.org/abs/2608.01326v1
• Date: Sun, 02 Aug 2026 15:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.165657
• Title: Context Compaction Theory
• Title（参考訳）: 文脈圧縮理論
• Abstract要約: 本稿では,AIエージェントが実際に使用するコンテキスト圧縮のための2つのアルゴリズム戦略をキャプチャする2つのゲームからなるフレームワークを提案する。 我々は、コンテキスト生成ゲームと一方的な通信複雑性の等価性を証明した。 本研究では,コンテキスト選択ゲームが一方通行の通信プロトコルの制限されたクラスに対応することを示す。
• 参考スコア（独自算出の注目度）: 7.080904447915434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have a bounded context window. The context window is the maximum input size an LLM can consume for a single inference. AI agents rely on a process called context compaction to fit their state within the context window when calling an LLM. Despite its ubiquity, context compaction has received essentially no formal analysis. In this paper, we initiate a formal study of context compaction. We first introduce a framework consisting of two games that capture the two algorithmic strategies for context compaction used by contemporary AI agents in practice. The Context Selection Game models context compaction algorithms that select a subset of an agent's accumulated state to retain. The Context Generation Game models context compaction algorithms that summarize an agent's state by an arbitrary message of bounded length. We then prove an equivalence between the Context Generation Game and one-way communication complexity. The minimum context compaction budget for answering a set of queries within a target error is equal to the one-way communication complexity of the induced communication problem at the same error. Known bounds from communication complexity therefore transfer directly to context compaction. We also show that the Context Selection Game corresponds to a restricted class of one-way communication protocols. Any gap between selection and generation is therefore a gap between two classes of communication protocols. We prove that there exists a set of queries for which generation needs strictly less budget than selection. The equivalence between the Context Generation Game and one-way communication also lets us measure how well a deployed context compaction algorithm performs on a query relative to the optimal strategy. As an example, we present a case study that evaluates Anthropic's context compaction endpoint on set membership queries.
• Abstract（参考訳）: 大きな言語モデル(LLM)はコンテキスト境界を持つ。 コンテキストウィンドウは、LLMが単一の推論で消費できる最大入力サイズである。 AIエージェントは、LLMを呼び出す際にコンテキストウィンドウ内の状態に適合するために、コンテキスト圧縮と呼ばれるプロセスに依存する。 そのユビキティにもかかわらず、文脈コンパクト化は基本的に形式解析を受けていない。 本稿では,文脈のコンパクト化に関する公式な研究を開始する。 まず、現代のAIエージェントが実際に使用しているコンテキスト圧縮のための2つのアルゴリズム戦略をキャプチャする2つのゲームからなるフレームワークを紹介する。 コンテキスト選択ゲームは、保持するエージェントの蓄積状態のサブセットを選択するコンテキスト圧縮アルゴリズムをモデル化する。 コンテキスト生成ゲームは、エージェントの状態を境界長の任意のメッセージで要約するコンテキスト圧縮アルゴリズムをモデル化する。 次に、コンテキスト生成ゲームと一方的な通信複雑性の等価性を証明した。 ターゲットエラー内のクエリの集合に応答する最小コンテキスト圧縮予算は、同じエラーで誘導された通信問題の一方通行通信複雑性に等しい。 通信複雑性から既知の境界は、文脈のコンパクト化に直接移行する。 また、コンテキスト選択ゲームは、一方通行の通信プロトコルの制限されたクラスに対応することを示す。 したがって、選択と生成のギャップは、通信プロトコルの2つのクラスの間のギャップである。 我々は、生成が選択よりも厳格に少ない予算を必要とするクエリセットが存在することを証明した。 また、コンテキスト生成ゲームと一方通信の等価性により、配置されたコンテキスト圧縮アルゴリズムが最適な戦略に対するクエリでどれだけうまく機能するかを測定することができる。 一例として、設定されたメンバーシップクエリ上で、Arthropicのコンテキスト圧縮エンドポイントを評価するケーススタディを示す。

関連論文リスト

• Context-Aware RL for Agentic and Multimodal LLMs [45.19288531697759]
  コンテキスト認識型強化学習手法であるContextRLを提案する。 クエリー・アンサー・ペアをサポートするコンテキストを選択するモデルに報酬を与える。 5つのロングホライゾンベンチマークで標準GRPOの+2.2%、12種類の視覚的質問応答ベンチマークで+1.8%の平均ゲインを達成している。
  論文  参考訳（メタデータ） (2026-06-15T17:59:28Z)
• GoAgent: Group-of-Agents Communication Topology Generation for LLM-based Multi-Agent Systems [55.12339141172908]
  GoAgentは、協調グループをMAS構築の原子単位として明示的に扱う通信トポロジ生成手法である。 6つのベンチマークの実験では、GoAgentの最先端のパフォーマンスを93.84%の平均精度で証明し、トークン消費を約17%削減した。
  論文  参考訳（メタデータ） (2026-03-20T06:21:32Z)
• CORG: Generating Answers from Complex, Interrelated Contexts [57.213304718157985]
  現実世界のコーパスでは、知識は文書間で頻繁に再帰するが、曖昧な命名、時代遅れの情報、エラーのためにしばしば矛盾を含む。 以前の研究では、言語モデルはこれらの複雑さに苦しむことが示されており、典型的には孤立した単一要因に焦点を当てている。 複数のコンテキストを個別に処理されたグループに整理するフレームワークであるContext Organizer (CORG)を紹介する。
  論文  参考訳（メタデータ） (2025-04-25T02:40:48Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• HyQE: Ranking Contexts with Hypothetical Query Embeddings [9.23634055123276]
  検索拡張システムでは、検索したコンテキストをユーザクエリとの関連性に基づいて順序付けするために、コンテキストランキング技術が一般的に使用される。 大規模言語モデル(LLM)は、文脈のランク付けに使われてきた。 LLMの微調整を必要とせずに、埋め込み類似性とLLM機能を組み合わせたスケーラブルなランキングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-10-20T03:15:01Z)
• Improving Retrieval Augmented Open-Domain Question-Answering with Vectorized Contexts [83.57864140378035]
  本稿では,オープンドメイン質問応答タスクにおいて,より長いコンテキストをカバーできる手法を提案する。 コンテキストを効果的にエンコードする小さなエンコーダ言語モデルを利用し、エンコーダは元の入力とクロスアテンションを適用する。 微調整後、2つのホールドインデータセット、4つのホールドアウトデータセット、および2つのIn Context Learning設定のパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2024-04-02T15:10:11Z)
• Complex Reasoning over Logical Queries on Commonsense Knowledge Graphs [61.796960984541464]
  論理クエリをサンプリングして作成した新しいデータセットであるCOM2(COMplex COMmonsense)を提示する。 我々は、手書きのルールと大きな言語モデルを用いて、複数の選択とテキスト生成の質問に言語化します。 COM2でトレーニングされた言語モデルでは、複雑な推論能力が大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-12T08:13:52Z)
• Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering [54.541952928070344]
  文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。 非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
  論文  参考訳（メタデータ） (2020-09-18T23:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。