論文の概要: CacheFocus: Dynamic Cache Re-Positioning for Efficient Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2502.11101v1
• Date: Sun, 16 Feb 2025 12:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:09.592858
• Title: CacheFocus: Dynamic Cache Re-Positioning for Efficient Retrieval-Augmented Generation
• Title（参考訳）: CacheFocus: 効率的な検索拡張生成のための動的キャッシュ再起動
• Authors: Kun-Hui Lee, Eunhwan Park, Donghoon Han, Seung-Hoon Na,
• Abstract要約: LLM(Large Language Models)は、入力長と計算コストの制限により、様々な言語タスクを排他的に拡張する。 既存のアプローチであるtextemdashは、これらの問題を部分的に緩和するが、しばしば追加のトレーニングを必要とするか、より長い入力でパフォーマンス劣化に悩まされる。 textbftextitCacheFocusは、長さの正規化を強化し、さらなるトレーニングを行わずに推論遅延を低減する方法である。
• 参考スコア（独自算出の注目度）: 6.544043376474944
• License:
• Abstract: Large Language Models (LLMs) excel across a variety of language tasks yet are constrained by limited input lengths and high computational costs. Existing approaches\textemdash such as relative positional encodings (e.g., RoPE, ALiBi) and sliding window mechanisms\textemdash partially alleviate these issues but often require additional training or suffer from performance degradation with longer inputs. In this paper, we introduce \textbf{\textit{CacheFocus}}, a method that enhances length normalization and reduces inference latency without any further training. Our approach leverages query-independent, offline caching to efficiently reuse a Context KV Cache Store. We address the amplification of abnormal token distributions problem by re-positioning cached keys and introducing Layer-Adaptive Cache Pruning to discard low-relevance caches during pre-filling. Additionally, our Adaptive Positional Allocation Strategy dynamically reassigns cache positions to maximize the use of the available positional encoding range. Experiments on the Natural Questions and TriviaQA datasets demonstrate that CacheFocus outperforms alternative methods even when inputs exceed the $4$K limit of the \texttt{LLaMA-2} model, emphasizing its practical effectiveness for long-context LLMs. Moreover, even with large maximum input length of \texttt{Qwen2}, the performance of CacheFocus shows that it maintains consistent performance even as the number of documents increases, effectively managing long-text generation without degradation.
• Abstract（参考訳）: LLM(Large Language Models)は、入力長と計算コストの制限により、様々な言語タスクを排他的に拡張する。 既存のアプローチ\textemdashは、相対的な位置エンコーディング(例えば、RoPE、ALiBi)やスライディングウィンドウ機構のような既存のアプローチ\textemdashは、これらの問題を部分的に緩和するが、しばしば追加のトレーニングを必要とする。 本稿では,長さ正規化を向上し,推論遅延を低減する手法である \textbf{\textit{CacheFocus}} を紹介する。 このアプローチでは、クエリ非依存のオフラインキャッシュを活用して、Context KV Cache Storeを効率的に再利用しています。 本稿では,キャッシュ鍵の再配置による異常なトークン分布問題の増幅と,プリフィル中に低関連キャッシュを破棄するためにLayer-Adaptive Cache Pruningを導入する。 さらに、アダプティブ位置割り当て戦略はキャッシュ位置を動的に再割り当てし、利用可能な位置符号化範囲を最大化する。 Natural Questions と TriviaQA データセットの実験では、CacheFocus は、入力が \texttt{LLaMA-2} モデルの 4$K 制限を超える場合であっても、代替メソッドよりも優れており、長文 LLM の実用性を強調している。 さらに, <texttt{Qwen2} の最大入力長が大きい場合でも, CacheFocus の性能は文書数が増えても一貫した性能を維持し, 劣化のない長文生成を効果的に管理していることを示す。

関連論文リスト

• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [65.36715026409873]
  キー値(KV)キャッシュは、長い入力シーケンスと出力シーケンスを必要とするが、特に高い推論コストに寄与する。 ここでは,すべてのレイヤのKVキャッシュサイズを決定するという課題を,最適なグローバルプレフィックス設定を探すタスクに再編成するPrefixKVを提案する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• EPIC: Efficient Position-Independent Context Caching for Serving Large Language Models [19.510078997414606]
  EPICは、大きな言語モデルのための位置非依存のコンテキストキャッシュを導入している。 EPICはTTFTの最大8倍のスループットと既存のシステムに対する7倍のスループットを提供する。
  論文  参考訳（メタデータ） (2024-10-20T08:42:29Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• PQCache: Product Quantization-based KVCache for Long Context LLM Inference [27.523568511043273]
  キーバリューキャッシュ(KVCache)は、大規模言語モデル(LLM)において重要なコンポーネントである 現在の手法では、この問題に対処するためにLLMにおける自己注意に適したキーと値を選択的に決定する。 本稿では,KVCacheの管理にPQ(Product Quantization)を採用しているPQCacheを提案する。
  論文  参考訳（メタデータ） (2024-07-01T13:05:42Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。