論文の概要: Adapting Context Compression for Long-Horizon Agents with Counterfactual Continuations
- arxiv url: http://arxiv.org/abs/2609.36526v1
- Date: Tue, 29 Sep 2026 02:18:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.114109
- Title: Adapting Context Compression for Long-Horizon Agents with Counterfactual Continuations
- Title(参考訳): 反現実的継続を伴う長軸エージェントの文脈圧縮への適応
- Abstract要約: ロングホライゾンエージェントは、成長する相互作用履歴を管理するためにコンテキスト圧縮を必要とする。
既存のプロンプト適応法は、全コンテキストと圧縮軌跡を比較して圧縮誤差を推定する。
構造化圧縮プロンプトに適応するPAIR(Prompt Adaptation using Interventional Rollouts)を提案する。
- 参考スコア(独自算出の注目度): 11.375812370885798
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon agents require context compression to manage growing interaction histories. Compression quality, however, is ultimately determined by downstream execution. Existing prompt-adaptation methods infer compression errors by comparing full-context and compressed trajectories. Such comparisons cannot isolate individual compressions and are confounded by agent stochasticity. We first find that compression degrades reliability before solvability. Using matched counterfactual continuations that compare execution from the same agent state with versus without compression, we further show that severe degradation concentrates at isolated compression events. Motivated by this finding, we propose PAIR (Prompt Adaptation using Interventional Rollouts) for adapting structured compression prompts. PAIR identifies individual compressions that degrade subsequent execution, diagnoses their effects, and revises the relevant sections of a fixed compression template. PAIR achieves the strongest cross-run reliability among compressed methods in every main benchmark-scope combination, consistently exceeding the competing prompt-adaptation baseline. Without modifying the downstream agent, PAIR brings compressed execution close to the no-compression baseline and sometimes numerically exceeds it.
- Abstract(参考訳): ロングホライゾンエージェントは、成長する相互作用履歴を管理するためにコンテキスト圧縮を必要とする。
しかし、圧縮品質は最終的に下流の実行によって決定される。
既存のプロンプト適応法は、全コンテキストと圧縮軌跡を比較して圧縮誤差を推定する。
このような比較は個々の圧縮を分離することはできず、エージェント確率性によって構成される。
圧縮は可解性の前に信頼性を低下させる。
また, 同一エージェントの状態と圧縮の有無を比較した一致した逆ファクト的継続法を用いて, 分離圧縮イベントにおいて過度な劣化が集中することを示す。
そこで本研究では,PAIR (Prompt Adaptation using Interventional Rollouts) を提案する。
PAIRは、その後の実行を劣化させ、その効果を診断する個々の圧縮を特定し、固定された圧縮テンプレートの関連部分を修正する。
PAIRは、主要なベンチマークスコープの組み合わせで圧縮されたメソッド間で最も高いクロスラン信頼性を実現し、競合するプロンプト適応ベースラインを一貫して上回っている。
下流エージェントを変更することなく、PAIRは非圧縮ベースラインに近く圧縮された実行をもたらし、時には数値的にそれを上回る。
関連論文リスト
- Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors [13.49190771932777]
我々は, 語彙, 構文, 意味, 言説の種を進化的に探索し, 競争ルールの組み合わせを見つける。
結果、言語圧縮機はデプロイメント時にLMフォワードパスを必要とせず、CPU側でのみ圧縮を行う。
圧縮品質と復元精度のバランスをとるために,デュアルパスプロトコルを用いて評価を行った。
論文 参考訳(メタデータ) (2026-07-28T06:33:27Z) - When Token Compression Breaks: Structural Pruning vs. Token Reduction for Robust ViT Segmentation under High Compression [22.74689289299356]
視覚変換器(ViT)はセマンティックセグメンテーションのための強力なバックボーンであるが、その計算コストはデプロイメントを制限する。
効率的なViTベースのセグメンテーションのための最近のトークン圧縮法は、トークンの数を減らしてコストを削減している。
We benchmark token compression and structure pruning method for ViT-based semantic segmentation under matched FLOPs。
論文 参考訳(メタデータ) (2026-07-02T14:34:31Z) - EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。
高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
論文 参考訳(メタデータ) (2026-03-24T07:58:42Z) - Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。
ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。
MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。
ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
論文 参考訳(メタデータ) (2026-02-12T02:38:57Z) - MOOSComp: Improving Lightweight Long-Context Compressor via Mitigating Over-Smoothing and Incorporating Outlier Scores [5.893964327109089]
MOOSCompはトークン分類に基づく長文圧縮方式である。
タスク非依存圧縮において破棄されがちな希少だが重要なトークンを保存するために、外れ値を導入する。
本手法は,資源制約されたモバイルデバイス上での4倍圧縮率で3.3倍の高速化を実現する。
論文 参考訳(メタデータ) (2025-04-23T15:02:53Z) - Learning Accurate Performance Predictors for Ultrafast Automated Model
Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。
本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文 参考訳(メタデータ) (2023-04-13T10:52:49Z) - Once-for-All Sequence Compression for Self-Supervised Speech Models [62.60723685118747]
自己教師型音声モデルのための一括圧縮フレームワークを提案する。
このフレームワークは様々なタスクで評価され、固定圧縮率の変種と比較して限界劣化を示す。
また、適応圧縮率学習についても検討し、グリッド探索を必要とせず、タスク固有の好ましいフレーム期間を選択する能力を示す。
論文 参考訳(メタデータ) (2022-11-04T09:19:13Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳(メタデータ) (2021-05-24T12:07:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。