論文の概要: ReFold: Training-Free Reversible Inter-Turn Context Folding for Long-Horizon Agents
- arxiv url: http://arxiv.org/abs/2610.07863v1
- Date: Tue, 06 Oct 2026 07:09:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.863794
- Title: ReFold: Training-Free Reversible Inter-Turn Context Folding for Long-Horizon Agents
- Title(参考訳): ReFold: ロングホライゾンエージェントのためのトレーニングフリーで可逆なTurnインターコンテクストフォールディング
- Abstract要約: ロングホライゾンLSMエージェントは、各ステップでモデルに再送される追加のみの相互作用履歴に作用する。
既存の手法はコンテキスト要求予測を通じてコンテキストを管理する。
モデルのレンダリングコンテキストのみを圧縮しながら、基礎となるインタラクション履歴を保存する、トレーニング不要なレンダリング層であるReFoldを紹介します。
- 参考スコア(独自算出の注目度): 11.4603757827217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon LLM agents act on an append-only interaction history that is re-sent to the model at every step, so the context and its cost grow with steps until the sessions exceed the context window. Existing methods manage the context through context requirement prediction, relying on additional model calls, heuristic rules, or trained policies. However, these predictive approaches introduce runtime overhead, invalidate prefix caches, and permanently discard content with no guarantee of recovery. To overcome these limitations, we introduce ReFold: a training-free rendering layer that preserves the underlying interaction history while compressing only the model's rendered context. It removes two kinds of inter-turn redundancy without an auxiliary predictor: content an earlier turn already displayed, replaced by a stub, and turns the agent itself reports finished, folded into a one-line note. Both operators use chunked rendering, rewriting the cached prefix once every few steps rather than at every step. Every removal is strictly reversible, a wrong removal costs one restore from the history rather than permanent content loss. Because it operates at the rendering layer, ReFold is plug-and-play across standard ReAct-style harnesses. Evaluations across five long-horizon benchmarks and two frontier LLMs demonstrate that ReFold reduces token consumption by up to 2.5x and halves the KV-cache memory per session without degrading task success rates. Under capped context budgets, it avoids up to 92% of forced compactions. Under concurrent serving workloads, it reduces request queuing delays by up to 100%, accelerating inference by up to 1.7x, while cutting inference costs by up to 3.4x.
- Abstract(参考訳): ロングホライゾンLSMエージェントは、各ステップでモデルに再送される追加のみのインタラクション履歴に作用するため、セッションがコンテキストウィンドウを超えるまで、コンテキストとコストはステップとともに増加する。
既存のメソッドはコンテキスト要求予測を通じてコンテキストを管理し、追加のモデル呼び出し、ヒューリスティックルール、あるいは訓練されたポリシーに依存する。
しかし、これらの予測的アプローチは、実行時のオーバーヘッドを導入し、プレフィックスキャッシュを無効にし、回復の保証なしにコンテンツを永久に破棄する。
これらの制限を克服するために、モデルのレンダリングコンテキストのみを圧縮しながら、基礎となるインタラクション履歴を保存するトレーニング不要のレンダリング層であるReFoldを紹介します。
補助的な予測器を使わずに2種類のターン間の冗長性を取り除き、既に表示されていたターンをスタブに置き換え、エージェント自体が完了を報告し、1行のメモに折り畳む。
どちらの演算子もチャンクレンダリングを使用しており、キャッシュされたプレフィックスは各ステップではなく、数ステップ毎に書き直している。
すべての削除は厳格に可逆的であり、誤った削除は、永久的なコンテンツ損失ではなく、歴史から1つの復元に費やされる。
レンダリング層で動くので、ReFoldは標準のReActスタイルのハーネスにプラグ&プレイできる。
5つのロングホライゾンベンチマークと2つのフロンティアLCMによる評価は、ReFoldがトークン消費を最大2.5倍削減し、タスクの成功率を低下させることなくセッションあたりのKVキャッシュメモリを半減することを示している。
上限付きコンテキスト予算の下では、強制圧縮の最大92%を回避している。
同時サービスワークロードでは、リクエストキューの遅延を最大100%削減し、推論を最大1.7倍加速させ、推論コストを最大3.4倍削減する。
関連論文リスト
- TRACE: Trajectory-robust Admission with Evidence Ordering for Efficient GUI Agents [54.88208747581851]
トレーニング不要のビジュアルトークンプルーニングは、このコストを削減することができるが、キャッシュ再利用には基本的な制約が伴う。
我々は,emphtextbfTrajectory-textbfrobust textbfAdmission と textbfCoverage-aware textbfEvidence ordering のためのトレーニング不要フレームワーク textbfmethod を提案する。
論文 参考訳(メタデータ) (2026-09-09T15:12:48Z) - Forgetting Without Restarting: Execution-State Unlearning for Stateful LLM Agents [12.985773309621964]
Provenance-Guided Selective Replayは、プロンプト、圧縮メモリ、キャッシュにまたがるクロスレイヤコントラクトとしてバインドされる。
我々は,3つのエージェントスイート,9つのベースライン,3つのモデルファミリに対して,エレケーション,キャッシュ,文字列フリーな動作テストで監査を行った。
論文 参考訳(メタデータ) (2026-09-04T08:31:40Z) - HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文 参考訳(メタデータ) (2026-09-01T18:02:02Z) - Dead text or binding clause? Measuring and restoring constraint influence in black-box LLM dialogues [0.0]
マルチターンダイアログは、ユーザが制約を課すのと同じくらい簡単に取り消すことができるが、取り消しが確実に効果を発揮できない。
既存の手段では、条項ごとにこの影響を測定したり、納品前に予測したり、整合した予算の下で修復したりすることはない。
sysnameはモデルAPIだけで3つのギャップを埋める。
論文 参考訳(メタデータ) (2026-08-12T21:12:32Z) - Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳(メタデータ) (2026-08-10T07:49:10Z) - Archer: Adaptive Reuse of Cached Hidden States for Efficient Rollback in Diffusion Language Models [28.20034213862415]
拡散言語モデル(DLM)は反復的にシーケンスを洗練し、コンテキストが進化するにつれて、以前の予測を修正できる。
更新毎にグローバルコンテキストが変更され、プロンプト状態とレスポンス状態の両方が再コンパイルされる。
効率的なロールバック(アーチャー)のための隠れた状態の適応的再利用について紹介する。
Archerは、ロールバック可能なDLMのためのトレーニング不要なKVキャッシュ手法である。
論文 参考訳(メタデータ) (2026-08-08T12:13:10Z) - ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。
回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。
我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
論文 参考訳(メタデータ) (2026-07-14T17:50:50Z) - Akashic: A Low-Overhead LLM Inference Service with MemAttention [24.632531185056262]
本稿では,MemAttentionを中心に構築された低オーバーヘッドメモリシステムであるAkashicを提案する。
Akashicはコンテキストを境界チャンクに整理し、チャンク間のセマンティックな関係をモデル化する。
Akashicはタスクの精度を最大10.2ポイント、スループットを最大1.21倍、リクエストレートを最大1.88倍改善する。
論文 参考訳(メタデータ) (2026-07-07T00:06:22Z) - Scaling Self-Evolving Agents via Parametric Memory [69.96398842169002]
既存のメモリ拡張LDMエージェントは、過去の経験をプロンプト空間にのみ保存する。
自己進化型パラメトリックメモリフレームワークである textttTMEM を導入する。
textttTMEMは、様々なモデルスケールで要約ベースのベースラインと検索ベースのベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-06-03T07:18:31Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳(メタデータ) (2024-07-10T10:22:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。