論文の概要: AgenticCache: Cache-Driven Asynchronous Planning for Embodied AI Agents
- arxiv url: http://arxiv.org/abs/2604.24039v1
- Date: Mon, 27 Apr 2026 04:51:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.743131
- Title: AgenticCache: Cache-Driven Asynchronous Planning for Embodied AI Agents
- Title(参考訳): AgenticCache: 暗号化AIエージェントのためのキャッシュ駆動の非同期プランニング
- Authors: Hojoon Kim, Yuheng Wu, Thierry Tambe,
- Abstract要約: 実施中のAIエージェントは、計画のための大規模言語モデル(LLM)にますます依存しているが、ステップごとのLSMコールは、深刻なレイテンシとコストを課している。
AgenticCacheは、キャッシュされたプランを再利用し、ステップごとのLCM呼び出しを避けるためのフレームワークです。
AgenticCacheは12構成の平均的なタスク成功率を22%改善し、シミュレーション遅延を65%削減し、トークン使用率を50%削減する。
- 参考スコア(独自算出の注目度): 3.275342475988451
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embodied AI agents increasingly rely on large language models (LLMs) for planning, yet per-step LLM calls impose severe latency and cost. In this paper, we show that embodied tasks exhibit strong plan locality, where the next plan is largely predictable from the current one. Building on this, we introduce AgenticCache, a planning framework that reuses cached plans to avoid per-step LLM calls. In AgenticCache, each agent queries a runtime cache of frequent plan transitions, while a background Cache Updater asynchronously calls the LLM to validate and refine cached entries. Across four multi-agent embodied benchmarks, AgenticCache improves task success rate by 22% on average across 12 configurations (4 benchmarks x 3 models), reduces simulation latency by 65%, and lowers token usage by 50%. Cache-based plan reuse thus offers a practical path to low-latency, low-cost embodied agents. Code is available at https://github.com/hojoonleokim/MLSys26_AgenticCache.
- Abstract(参考訳): 実施中のAIエージェントは、計画のための大規模言語モデル(LLM)にますます依存しているが、ステップごとのLSMコールは、深刻なレイテンシとコストを課している。
本稿では,具体化タスクが強い計画局所性を示し,次の計画が現在の計画からほぼ予測可能であることを示す。
この上に構築されたAgenticCacheは、キャッシュされたプランを再利用し、ステップごとのLCM呼び出しを避けるための計画フレームワークです。
AgenticCacheでは、各エージェントが頻繁なプラン遷移のランタイムキャッシュをクエリし、バックグラウンドのCache UpdaterがLLMを非同期に呼び出し、キャッシュされたエントリを検証および精査する。
4つのマルチエージェント実施ベンチマークで、AgenticCacheは12構成(4ベンチマークx3モデル)でタスク成功率を平均22%改善し、シミュレーション遅延を65%削減し、トークン使用率を50%削減した。
キャッシュベースのプラン再利用は、低レイテンシで低コストなエンボディエージェントへの実践的なパスを提供する。
コードはhttps://github.com/hojoonleokim/MLSys26_AgenticCacheで入手できる。
関連論文リスト
- SPA-Cache: Singular Proxies for Adaptive Caching in Diffusion Language Models [56.45983529954998]
DLMキャッシュにおける更新識別と予算配分を共同で最適化するSPAキャッシュを提案する。
まず、低次元部分空間における更新臨界トークンの識別を可能にする低次元特異プロキシを導出する。
第2に、生成品質を劣化させることなく、安定したレイヤへの更新を少なくするアダプティブ戦略を導入する。
論文 参考訳(メタデータ) (2026-01-30T05:22:44Z) - TokenLake: A Unified Segment-level Prefix Cache Pool for Fine-grained Elastic Long-Context LLM Serving [12.80179556886128]
セグメントレベルのプレフィックス・キャッシュ・プールであるTokenLakeを提案する。
キャッシュインターフェースを使用して、リクエストのクエリテンソル、プレフィックス、キャッシュ対応操作を公開します。
TokenLakeはスループットを最大2.6$times$と2.0$times$に改善し、ヒット率を2.0$times$と2.1$times$に向上させることができる。
論文 参考訳(メタデータ) (2025-08-24T05:45:16Z) - LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models [52.56008278458534]
LaCacheは、大規模言語モデルの効率的かつ正確な生成推論のためのトレーニング不要の手法である。
LaCacheを使用することで、LLMは長期モデリングにおける重要な課題、すなわち堅牢な長距離機能と、メモリのアウト・オブ・メモリを走らせることなく連続的な生成の両方に対処できる。
論文 参考訳(メタデータ) (2025-07-14T19:09:57Z) - Enhancing Lifelong Multi-Agent Path Finding with Cache Mechanism [25.575748142768298]
Lifelong MAPF (L-MAPF) は現実の倉庫シナリオをよりリアルに近似する。
キャッシュ機構(L-MAPF-CM)を用いたLifelong MAPFと呼ばれる新しいメカニズムを導入し,高レベルキャッシュストレージと低レベルパスプランニングを統合した。
L-MAPF-CMは特に高いキャッシュヒット率とスムーズなトラフィック条件で性能改善を示した。
論文 参考訳(メタデータ) (2025-01-06T06:44:13Z) - InstCache: A Predictive Cache for LLM Serving [6.076957323090607]
キャッシング技術は、大規模言語モデル推論エンジンのパフォーマンスを最適化する機会を提供する。
命令の内容と長さのばらつきが大きいため、同じ命令が短時間のウィンドウ内で再帰することは稀である。
LLMサービスシステムの予測キャッシュ機構であるInstCacheを提案する。
論文 参考訳(メタデータ) (2024-11-21T03:52:41Z) - Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。
本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。
命令符号化では,キャッシュの重要性を評価するために周波数を利用する。
様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-07-25T15:29:05Z) - Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。
本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
論文 参考訳(メタデータ) (2024-06-24T03:59:17Z) - MeanCache: User-Centric Semantic Caching for LLM Web Services [8.350378532274405]
キャッシングは、繰り返しクエリの推論コストを削減するための自然なソリューションである。
本稿では,LLMベースのサービスのためのユーザ中心セマンティックキャッシュであるMeanCacheを紹介する。
MeanCacheは、セマンティックに類似したクエリを特定して、キャッシュヒットやミスを判定する。
論文 参考訳(メタデータ) (2024-03-05T06:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。