論文の概要: CADOC: Cache-Aware Dynamic Object Context for Long-Horizon Agents
- arxiv url: http://arxiv.org/abs/2609.37012v1
- Date: Tue, 29 Sep 2026 08:33:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.331567
- Title: CADOC: Cache-Aware Dynamic Object Context for Long-Horizon Agents
- Title(参考訳): CADOC:長距離エージェントのためのキャッシュ対応動的オブジェクトコンテキスト
- Abstract要約: 本稿では,構造化オブジェクトをコンパクトカードに置き換えるオンラインアルゴリズムCADOCを提案する。
評価においてCADOCは、比較した構成の中で最低の集約入力コストを一貫して達成する。
- 参考スコア(独自算出の注目度): 7.898646648931469
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For a long-horizon agent, context is the bottleneck: the history is resent with every request, the window caps task length, and reasoning degrades as the history grows. Replacing structured objects with compact retrieval Cards shortens the prompt and keeps the exact originals retrievable, but editing the history can break prefix-cache reuse, and prior recoverable methods time their edits by forecasts of future reuse or by preset intervals. We propose CADOC (Cache-Aware Dynamic Object Context), an online algorithm that replaces structured objects with compact Cards while preserving exact, on-demand retrieval of their original contents. CADOC schedules replacements in batches by balancing accumulated waiting cost against shared cache-reconstruction cost. Its scheduling rule follows from an economic order quantity trade-off, recovers the optimal integer batch under stationary assumptions. Across evaluation, CADOC consistently achieves the lowest aggregate input cost among the compared configurations, which reduces input cost by approximately 40\% on average while maintaining task performance close to full context. CADOC thus provides a cost-derived approach to compressible context management, demonstrating that efficient compression depends not only on shortening prompts but also on scheduling edits to preserve cache reuse.
- Abstract(参考訳): 長い水平エージェントの場合、コンテキストはボトルネックであり、履歴はすべてのリクエストで再送され、ウィンドウはタスクの長さを上限とし、履歴が大きくなるにつれて推論は劣化する。
構造化されたオブジェクトをコンパクトな検索カードで置き換えることでプロンプトを短縮し、正確なオリジナルを検索できるが、履歴の編集はプレフィックスとキャッシュの再利用を損なう可能性がある。
CADOC(Cache-Aware Dynamic Object Context)は,構造化されたオブジェクトをコンパクトなカードに置き換えるオンラインアルゴリズムである。
CADOCは、共有キャッシュ・リコンストラクションコストに対して蓄積された待ちコストをバランスさせて、バッチ内の置換をスケジュールする。
そのスケジューリングルールは、経済的な順序量トレードオフから従い、定常的な仮定の下で最適な整数バッチを回復する。
評価においてCADOCは、比較した構成の中で最も低い集約的な入力コストを一貫して達成し、完全なコンテキストに近いタスク性能を維持しながら、入力コストを平均約40倍削減する。
したがってCADOCは、圧縮可能なコンテキスト管理にコスト由来のアプローチを提供し、効率的な圧縮はプロンプトの短縮だけでなく、キャッシュ再利用を保存するための編集のスケジューリングにも依存することを示した。
関連論文リスト
- Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳(メタデータ) (2026-07-30T02:42:51Z) - PRISM: Pareto-Efficient Retrieval over Intent-Aware Structured Memory for Long-Horizon Agents [9.504077408241544]
ロングホライゾン言語エージェントは、どの固定されたコンテキストウィンドウよりもはるかに早く会話履歴を蓄積する。
PRISMは、長期記憶を共同検索・圧縮問題として扱う訓練不要な検索サイドフレームワークである。
論文 参考訳(メタデータ) (2026-05-12T15:28:30Z) - A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。
逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。
本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
論文 参考訳(メタデータ) (2026-04-25T17:38:51Z) - Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。
リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。
正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
論文 参考訳(メタデータ) (2026-04-17T09:24:58Z) - AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。
AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
論文 参考訳(メタデータ) (2026-01-28T08:09:49Z) - Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。
従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。
本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-11T06:53:27Z) - EPIC: Efficient Position-Independent Caching for Serving Large Language Models [19.510078997414606]
キャッシングは、リクエスト間でキーバリューベクトルを再利用することで、パフォーマンスを向上させる。
既存のコンテキストキャッシュでは、リクエストにまたがる正確なプレフィックスが必要である。
位置独立キャッシング (PIC) を導入し, プレフィックスによらず KV ベクトルのモジュラー再利用を可能にする。
また、新しいLegoLinkアルゴリズムを取り入れたサービスシステムEPICも導入しています。
論文 参考訳(メタデータ) (2024-10-20T08:42:29Z) - Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:54:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。