Fugu-MT 論文翻訳(概要): ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents

論文の概要: ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents

arxiv url: http://arxiv.org/abs/2608.19662v1
Date: Thu, 20 Aug 2026 05:57:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-21 20:28:51.457604
Title: ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents
Title（参考訳）: ReCache: ツール強化LDMエージェントの効率的なKVキャッシュ再利用と圧縮
Abstract要約: textbfReCacheは、リソース表現を独立してキャッシュするためのフレームワークである。 7つの公開ツールとスキルユースデータセットから収集したベンチマークでReCacheを評価した。
参考スコア（独自算出の注目度）: 7.368551130048085
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Agentic language models repeatedly encode tool and skill schemas that recur across requests in different combinations and orders, preventing standard prefix caching from reusing their key--value (KV) states. We introduce \textbf{ReCache}, a framework for independently caching resource representations while reducing their inference-time computational and memory overhead. Resource-wise attention removes cross-resource interactions and assigns resource-local positions, producing composition-invariant KV blocks. ReCache then restricts resource visibility to contribution-selected layer--KV-head-group routes and retains only invocation-critical fields through structural and semantic pruning. We evaluate ReCache on a benchmark assembled from seven public tool- and skill-use datasets, including resource-disjoint tests. Resource-wise attention matches dense invocation performance (82.3\% versus 82.4\% Inv-F1) while providing a 3.655$\times$ time-to-first-token speedup. The complete framework reduces allocated KV-tensor memory by 92.43\% and accelerates attention by 1.423$\times$. These results show that separating reusable schema encoding from selective resource access substantially reduces agentic inference costs with limited effectiveness loss. The code is available at https://github.com/EIT-NLP/ReCache.
Abstract（参考訳）: エージェント言語モデルは、異なる組み合わせと順序でリクエスト間で再帰するツールとスキルスキーマを繰り返しエンコードし、標準的なプレフィックスキャッシュがキー値(KV)状態の再利用を防止する。本稿では,リソース表現を独立にキャッシュするフレームワークである \textbf{ReCache} を紹介する。リソースワイドアテンションはリソース間の相互作用を取り除き、リソースローカルな位置を割り当て、構成不変なKVブロックを生成する。 ReCacheはリソースの可視性をコントリビューション選択されたレイヤ--KV-head-groupルートに制限し、構造的およびセマンティックプルーニングを通じて呼び出しクリティカルフィールドのみを保持する。リソース分離テストを含む7つの公開ツールおよびスキル使用データセットから収集したベンチマークでReCacheを評価する。リソース単位の注意は、高い呼び出し性能(82.3\%対82.4\% Inv-F1)と一致し、3.655$\times$Time-to-first-token のスピードアップを提供する。完全なフレームワークは割り当てられたKVテンソルメモリを92.43\%削減し、注意を1.423$\times$に加速する。これらの結果から,再利用可能なスキーマ符号化を選択的リソースアクセスから分離することで,エージェント推論コストを大幅に低減し,効率の低下を抑えることができた。コードはhttps://github.com/EIT-NLP/ReCacheで入手できる。

関連論文リスト

VisCache: Visual KV Cache Pruning for Efficient Vision Large Language Model Inference [17.932004205808486]
VisCacheは、トレーニングなしで大きめのtextbfVisual KV textbfCacheプルーニングを行うためのフレームワークである。 PruneKVは、Vision Large Language Modelsの注意力学に合わせて設計された、外科的KV圧縮アルゴリズムである。 VisCacheは、既存のベースラインを一貫して上回る。
論文参考訳（メタデータ） (2026-08-25T04:52:05Z)
Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文参考訳（メタデータ） (2026-07-30T02:42:51Z)
Position Rebinding Cache Reuse: Replay-Free Visual Revisiting for Interleaved Multimodal Reasoning [51.563653495547335]
マルチモーダル推論は、マルチステップ生成中に視覚的証拠を再考することによって、視覚的接地を改善する。再生不要な視覚的再考のためのキャッシュレベルフレームワークであるPlace Rebinding Cache Reuse (PRCR)を提案する。 PRCRはリプレイレベルまたはパフォーマンスの向上を実現し、平均精度を5%向上し、視覚的再考を最大数万倍削減する。
論文参考訳（メタデータ） (2026-06-25T05:47:52Z)
CompressKV: Semantic-Retrieval-Guided KV-Cache Compression for Resource-Efficient Long-Context LLM Inference [9.416125453771361]
長文大言語モデル(LLM)推論は、メモリフットプリントとキー値キャッシュのデコードコストによって、ますます制限されている。我々は、GQAベースのLLMのためのリソース効率の良いKV-cache圧縮フレームワークであるCompressKVを提案する。 LongBench と Needle-in-a-Haystack の実験により、CompressKV はメモリ予算全体で既存の KV-cache 消去手法を一貫して上回っていることが示された。
論文参考訳（メタデータ） (2026-06-23T11:59:46Z)
Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving [18.829614918483255]
AsymCacheは、LLM(Large Language Model)推論のための計算対応のKVキャッシュ管理システムである。 AsymCacheはTTFTを最大1.90-2.03x、TPOT(time-per-latency-token)を1.62-1.71xまで下げることを示した。
論文参考訳（メタデータ） (2026-06-01T23:51:37Z)
CacheClip: Accelerating RAG with Effective KV Cache Reuse [8.016679032026824]
CacheClipは、高速TTFTとハイジェネレーション品質の両方を実現する新しいフレームワークである。本手法は,(1)選択的KVキャッシュ再計算のための補助モデル誘導トークン選択,(2)冗長な注意シンクを排除するための共有プレフィックス,(3)局所コヒーレンスを維持するためのグループ化戦略の3つの手法を統合する。
論文参考訳（メタデータ） (2025-10-11T09:28:26Z)
KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse [30.48395228595732]
KVLinkは、大規模言語モデル(LLM)における効率的なキー値(KV)キャッシュ再利用のためのアプローチである。 KVLinkは、連結後のグローバルな位置と一致するように、推論時にKVキャッシュの位置埋め込みを調整することと、自己注意を回復するためにトレーニング可能な特別なトークンを使用することである。 7つのデータセットにわたる実験によると、KVLinkは最先端の手法よりも平均4%の精度で質問応答を改善する。
論文参考訳（メタデータ） (2025-02-21T23:34:29Z)
ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文参考訳（メタデータ） (2024-07-30T17:59:08Z)
Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。命令符号化では,キャッシュの重要性を評価するために周波数を利用する。様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文参考訳（メタデータ） (2024-07-25T15:29:05Z)
Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
論文参考訳（メタデータ） (2024-06-24T03:59:17Z)
Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。