Fugu-MT 論文翻訳(概要): Decoupled Attention Fusion: Accelerating RAG with Efficient KV Cache Reuse

論文の概要: Decoupled Attention Fusion: Accelerating RAG with Efficient KV Cache Reuse

arxiv url: http://arxiv.org/abs/2607.21599v1
Date: Sun, 03 May 2026 10:34:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-02 22:55:38.931689
Title: Decoupled Attention Fusion: Accelerating RAG with Efficient KV Cache Reuse
Title（参考訳）: Decoupled Attention Fusion: 効率的なKVキャッシュ再利用によるRAGの高速化
Abstract要約: CacheBlendは選択的な注意による再計算を減らすが、より長いコンテキストでの精度の低下に悩まされる。 DeAttention Fusion (DAF) は高い精度を維持しながら再計算オーバーヘッドを大幅に低減するフレームワークである。 DAFは、CacheBlendの最大2倍のスピードアップと、長文ベンチマークのvLLMによる完全再計算の5.6倍のスピードアップを提供する。
参考スコア（独自算出の注目度）: 12.43630274614808
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Retrieval-Augmented Generation (RAG) effectively mitigates hallucinations in Large Language Models (LLMs) but suffers from prohibitive Time-To-First-Token (TTFT) latency in long-context scenarios. Reusing pre-computed document KV caches addresses this but introduces a distribution mismatch, where offline caches lack the inter-document attention patterns required for coherent reasoning. CacheBlend reduces recomputation via selective attention, but suffers severe accuracy degradation at longer contexts. To address these challenges, we propose Decoupled Attention Fusion (DAF), a framework that maintains high accuracy while significantly reducing recomputation overhead. DAF decouples the attention process into three integrated stages: important-token self-attention to restore missing inter-document attention, question-document self-attention for standard inference, and a state fusion that concatenates their outputs to synthesize the final hidden states. By decoupling these operations into dense patterns, DAF is natively compatible with Flash-Attention kernels, maximizing hardware utilization without requiring complex attention masks. Experiments show that DAF delivers up to 2 times speedup over CacheBlend and 5.6 times over full recomputation with vLLM on long-context benchmarks, without sacrificing accuracy.
Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) における幻覚を効果的に緩和するが、長いコンテキストシナリオではTTFT(Time-to-First-Token)レイテンシが禁止される。事前計算されたドキュメントKVキャッシュの再利用は、この問題に対処するが、オフラインキャッシュでは、一貫性のある推論に必要なドキュメント間の注意パターンが欠如している分散ミスマッチを導入する。 CacheBlendは選択的な注意による再計算を減らすが、より長いコンテキストでの精度の低下に悩まされる。これらの課題に対処するため,再計算オーバーヘッドを大幅に低減しつつ高い精度を維持するフレームワークであるDecoupled Attention Fusion (DAF)を提案する。 DAFは注意プロセスを3つの統合段階に分解する: 文書間注意を回復するための重要なトークン自己注意、標準推論のための質問文書自己注意、そして、それらの出力を結合して最終的な隠れた状態を合成する状態融合である。これらの操作を高密度なパターンに分離することで、DAFはFlash-Attentionカーネルとネイティブに互換性を持ち、複雑な注意マスクを必要とせずにハードウェア利用を最大化する。実験の結果、DAFはCacheBlendを最大2倍のスピードアップし、vLLMを長文のベンチマークで完全に再計算し、精度を犠牲にすることなく5.6倍のスピードアップを実現している。

関連論文リスト

CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文参考訳（メタデータ） (2026-08-31T06:02:37Z)
UNIQUE: Universal Top-k Sparse Attention for Training-free Inference and Sparsity-aware Training [25.273337266205413]
大規模言語モデル(LLM)における長文推論は、自己注意キー値(KV)キャッシュの線形成長によってボトルネックとなる。 Top-kキャッシュはKVキャッシュのごく一部で注意を緩和するが、トレーニングと補助トレーニングの両方において、正確に重要性を推定する。
論文参考訳（メタデータ） (2026-05-26T22:32:43Z)
Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文参考訳（メタデータ） (2025-12-10T01:54:57Z)
G-KV: Decoding-Time KV Cache Eviction with Global Attention [57.47409249054187]
大規模言語モデル(LLM)は複雑なタスクに優れるが、長いシーケンス長のため、計算とメモリの重大な課題に遭遇する。 KVキャッシュ圧縮は推論の効率を大幅に向上させる効果的な手法として登場した。本稿では,グローバルスコアリング機構を用いたKVキャッシュ消去手法であるG-KVを提案する。
論文参考訳（メタデータ） (2025-11-29T14:21:33Z)
InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation [56.694702609077495]
ロングシーケンス処理は、現代の大規模言語モデルにとって重要な機能である。 InfLLM-V2は、ショートシーケンスからロングシーケンスまでのモデルをシームレスに適応する訓練可能なスパースアテンションフレームワークである。実験では、InfLLM-V2は高密度の注意より4$times$速いが、98.1%と99.7%のパフォーマンスを維持している。
論文参考訳（メタデータ） (2025-09-29T12:08:33Z)
Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
論文参考訳（メタデータ） (2025-08-04T16:14:03Z)
Beyond Homogeneous Attention: Memory-Efficient LLMs via Fourier-Approximated KV Cache [67.47789629197857]
本稿では,トランスヘッド次元の不均一な役割を生かした学習自由フレームワークを提案する。フーリエアテンションは、長コンテキスト非感性次元をフーリエ基底に投影することにより、その時間的進化を固定長のスペクトル係数で近似する。本稿では,FourierAttention が LongBench と Needle-In-A-Haystack 上で最高の長文精度を実現することを示す。
論文参考訳（メタデータ） (2025-06-13T15:35:54Z)
Dialogue Without Limits: Constant-Sized KV Caches for Extended Responses in LLMs [6.222287867011644]
精度を保ちながら一定サイズのKVキャッシュを維持する推論時間手法であるMorphKVを提案する。保持や損失圧縮とは異なり、MorphKVは最近のトークンの注意パターンによってガイドされる軽量更新を通じてKVキャッシュを反復的に洗練する。我々の研究では、52.9$%のメモリセーブと18.2$%の精度が、最先端の先行研究と比較して高いことを示している。
論文参考訳（メタデータ） (2025-03-02T18:12:50Z)
LongSpec: Long-Context Lossless Speculative Decoding with Efficient Drafting and Verification [42.54363549922909]
LongSpecは、長いコンテキストに対する効率的な推論の課題に対処するフレームワークである。 LongSpecは、強力なFlash Attentionベースライン上で最大3.26倍のスピードアップを達成する。コードはhttps://github.com/sail-sg/LongSpecで公開されている。
論文参考訳（メタデータ） (2025-02-24T18:53:31Z)
Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-11-14T18:54:19Z)
Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs [39.16152482491236]
Bifurcated attentionは、共有コンテキストバッチデコードシナリオにおける言語モデル推論を強化するために設計された手法である。提案手法は,高バッチサイズおよび拡張コンテキスト長のレイテンシに寄与する重要な要因である冗長メモリIOコストの課題に対処する。
論文参考訳（メタデータ） (2024-03-13T16:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。