論文の概要: TokenPilot: Cache-Efficient Context Management for LLM Agents
- arxiv url: http://arxiv.org/abs/2606.17016v1
- Date: Mon, 15 Jun 2026 17:46:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 18:36:05.122491
- Title: TokenPilot: Cache-Efficient Context Management for LLM Agents
- Title（参考訳）: TokenPilot: LLMエージェントのキャッシュ効率の良いコンテキスト管理
- Abstract要約: TokenPilotは、二重粒度コンテキスト管理フレームワークである。
グローバルでは、Ingestion-Aware Compactionがフレームワークハーネスとして機能し、プロンプトプレフィックスを安定化し、Ingestion Gateにおけるオープンワールド環境ノイズを排除する。
PinchBenchとClaw-Evalを分離モードと連続モードの両方で実験した結果、TokenPilotは、従来のシステムと比較して、コストを61%と56%削減し、連続モードでは61%と87%削減した。
- 参考スコア（独自算出の注目度）: 19.621473196153694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As LLM agents are deployed in long-horizon sessions, context accumulation drives up inference costs. Existing approaches utilize text pruning or dynamic memory eviction to minimize token footprints; however, their unconstrained sequence mutations alter layouts, introducing prefix mismatches and cache invalidation. This reveals a critical trade-off between text sparsity and prompt cache continuity. To address this, we present TokenPilot, a dual-granularity context management framework. Globally, Ingestion-Aware Compaction acts as a framework harness to stabilize prompt prefixes and eliminate open-world environmental noise at the ingestion gate. Locally, Lifecycle-Aware Eviction monitors the ongoing residual utility of context segments, enforcing a conservative batch-turn schedule to offload content segments only when task relevance expires. Experiments on PinchBench and Claw-Eval under both isolated and continuous modes demonstrate that TokenPilot reduces costs by 61% and 56% in isolated mode, and 61% and 87% in continuous mode, while maintaining competitive performance compared to prior systems. TokenPilot has been integrated into LightMem2 at https://github.com/zjunlp/LightMem2.
- Abstract（参考訳）: LLMエージェントが長期セッションにデプロイされるため、コンテキストの蓄積は推論コストを上昇させる。
既存のアプローチでは、トークンのフットプリントを最小限に抑えるためにテキストプルーニングや動的メモリ消去が使用されているが、制約のないシーケンスの変異によってレイアウトが変更され、プレフィックスミスマッチやキャッシュ無効化が導入されている。
これにより、テキストのスパーシリティとキャッシュの継続性の急激なトレードオフが明らかになる。
これを解決するために、二重粒度コンテキスト管理フレームワークであるTokenPilotを紹介します。
グローバルでは、Ingestion-Aware Compactionがフレームワークハーネスとして機能し、プロンプトプレフィックスを安定化し、Ingestion Gateにおけるオープンワールド環境ノイズを取り除く。
ローカルでは、Lifecycle-Aware Evictionがコンテキストセグメントの継続的な有効性を監視し、タスクの関連性が切れた場合にのみコンテンツセグメントをオフロードするように保守的なバッチターンスケジュールを強制する。
PinchBenchとClaw-Evalを分離モードと連続モードの両方で実験した結果、TokenPilotは、従来のシステムと比較して、コストを61%と56%削減し、連続モードでは61%と87%削減した。
TokenPilotは、https://github.com/zjunlp/LightMem2でLightMem2に統合された。
関連論文リスト
- Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - Think in Sets for Streaming Video Token Compression [11.833562937219753]
ストリーミングビデオは因果的かつフレーム単位のプルーニング決定をするので、フレーム間のインタラクションをモデル化するには明確な履歴参照が必要である。
我々はNovaCovを導入し、ストリーミングビデオ用に設計された、最初のトレーニング不要でプラグ&プレイのセットワイドトークン圧縮機について紹介する。
論文 参考訳（メタデータ） (2026-08-02T11:44:51Z) - Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。
我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。
VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
論文 参考訳（メタデータ） (2026-07-20T18:37:58Z) - Reflex: Real-Time VLA Control through Streaming Inference [12.85847066934547]
textbfReflexは,フローマッチングポリシに対して,テキストリアルタイムストリーミング推論を可能にするフレームワークである。
LIBEROとKinetixのベンチマークでは、Reflexは2.58$times$推論スピードアップと50Hzの安定したストリーミングを実現し、反応遅延を最大54%削減した。
論文 参考訳（メタデータ） (2026-07-16T07:56:43Z) - Adaptive Tokenisation Via Temporal Redundancy Masking And Latent Inpainting [18.71433885255431]
適応的ビデオトークン化(Adaptive Video tokenisation)は、シーケンスの基盤となる視覚的複雑さに基づいて、トークンの予算を動的に割り当てる。
凍結連続ビデオトークンの潜伏空間は,直接利用可能な時間的冗長性を本質的に符号化していることを示す。
パラメータフリー適応トークン割り当て機構を導入し,時間-L1差分に対する固定しきい値を適用した。
論文 参考訳（メタデータ） (2026-06-04T13:31:12Z) - Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。
SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
論文 参考訳（メタデータ） (2026-05-08T15:40:40Z) - Fast SAM2 with Text-Driven Token Pruning [52.8350457627401]
Segment Anything Model 2 (SAM2) では、視覚計算モデルがプロンプト駆動のビデオオブジェクトセグメンテーションにおいて大幅に進歩している。
SAM2パイプラインは、イメージエンコーダが生成するすべての視覚トークンを、ターゲットオブジェクトとの関係にかかわらず、下流の時間的推論モジュールを通じて伝達する。
本稿では,時間的伝播に先立ってトークン密度を選択的に低減し,推論効率を向上させるためのテキスト誘導型トークンプルーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-24T18:59:05Z) - StreamingTOM: Streaming Token Compression for Efficient Video Understanding [6.9203477336374775]
既存のアプローチはLLM後のkv-cacheのみを規制し、コストのかかるLLM前のプリフィルは変わらない。
StreamingTOMは,LLM前とLLM後の両方のボトルネックに,予測可能なレイテンシで対処する,トレーニングフリーでプラグイン&プレイの2段階フレームワークです。
実験では, 従来のSOTAと比較して, 15.7 時間で kv-cache 圧縮, 12 時間で低ピークメモリ, 2 時間で速い TTFT 圧縮を実現している。
論文 参考訳（メタデータ） (2025-10-21T03:39:41Z) - Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。
現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。
Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
論文 参考訳（メタデータ） (2025-08-04T16:14:03Z) - Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。
本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
論文 参考訳（メタデータ） (2024-06-24T03:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。