論文の概要: TurboRAG: Accelerating Retrieval-Augmented Generation with Precomputed KV Caches for Chunked Text

• arxiv url: http://arxiv.org/abs/2410.07590v1
• Date: Thu, 10 Oct 2024 03:52:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 16:06:31.034594
• Title: TurboRAG: Accelerating Retrieval-Augmented Generation with Precomputed KV Caches for Chunked Text
• Title（参考訳）: TurboRAG: チャンクテキストのための事前計算KVキャッシュによる検索拡張生成の高速化
• Authors: Songshuo Lu, Hua Wang, Yutian Rong, Zhi Chen, Yaohua Tang,
• Abstract要約: 現在のRetrieval-Augmented Generation (RAG)システムは、プリフィルのために多数の検索された文書チャンクを処理する。 本稿では,新しいRAGシステムであるTurboRAGを紹介する。 一連のRAGベンチマークによる実験の結果、TurboRAGは従来のRAGシステムと比較してTTFTを最大9.4倍削減することが示された。
• 参考スコア（独自算出の注目度）: 9.798085995254166
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Current Retrieval-Augmented Generation (RAG) systems concatenate and process numerous retrieved document chunks for prefill which requires a large volume of computation, therefore leading to significant latency in time-to-first-token (TTFT). To reduce the computation overhead as well as TTFT, we introduce TurboRAG, a novel RAG system that redesigns the inference paradigm of the current RAG system by first pre-computing and storing the key-value (KV) caches of documents offline, and then directly retrieving the saved KV cache for prefill. Hence, online computation of KV caches is eliminated during inference. In addition, we provide a number of insights into the mask matrix and positional embedding mechanisms, plus fine-tune a pretrained language model to maintain model accuracy of TurboRAG. Our approach is applicable to most existing large language models and their applications without any requirement in modification of models and inference systems. Experimental results across a suite of RAG benchmarks demonstrate that TurboRAG reduces TTFT by up to 9.4x compared to the conventional RAG systems (on an average of 8.6x), but reserving comparable performance to the standard RAG systems.
• Abstract（参考訳）: 現在のRAG(Retrieval-Augmented Generation)システムは、大量の計算を必要とするプリフィルのために多数の検索された文書チャンクを結合処理するので、TTFT(Time-to-first-token)において大きな遅延が発生する。 TTFTと同様に計算オーバーヘッドを低減するため,文書のキー値(KV)キャッシュをオフラインにプリフィルして保存し,保存したKVキャッシュを直接検索することで,現在のRAGシステムの推論パラダイムを再設計する新しいRAGシステムであるTurboRAGを導入する。 したがって、KVキャッシュのオンライン計算は推論中に不要となる。 さらに,TurboRAGのモデル精度を維持するために,マスク行列と位置埋め込み機構,および事前学習言語モデルを微調整する。 我々のアプローチは、モデルや推論システムの変更を必要とせずに、既存の大言語モデルとそのアプリケーションに適用できる。 一連のRAGベンチマークによる実験結果によると、TurboRAGは従来のRAGシステム(平均8.6倍)と比較してTTFTを最大9.4倍削減するが、標準的なRAGシステムと同等の性能を維持している。

関連論文リスト

• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• InfiniGen: Efficient Generative Inference of Large Language Models with Dynamic KV Cache Management [0.5899781520375794]
  トランスフォーマーベースの大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる優れたパフォーマンスを示す。 長いコンテンツを生成するための推論を提供することは、過渡状態の巨大なメモリフットプリントのために課題となる。 InfiniGenは、長文生成に適した新しいKVキャッシュ管理フレームワークである。
  論文  参考訳（メタデータ） (2024-06-28T07:41:26Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• Keyformer: KV Cache Reduction through Key Tokens Selection for Efficient Generative Inference [2.8241099113277666]
  キーフォーマー」は、KVキャッシュサイズとメモリ帯域幅利用に関する課題を軽減する革新的な推論時アプローチである。 我々はKeyformerの性能を,GPT-J,Cerebras-GPT,MPTの3つの基礎モデルで評価した。
  論文  参考訳（メタデータ） (2024-03-14T02:42:42Z)
• VST++: Efficient and Stronger Visual Saliency Transformer [74.26078624363274]
  我々は,グローバルな長距離依存関係を探索する,効率的で強力なVST++モデルを開発した。 我々は、RGB、RGB-D、RGB-T SODベンチマークデータセット上で、トランスフォーマーベースのバックボーンにまたがってモデルを評価した。
  論文  参考訳（メタデータ） (2023-10-18T05:44:49Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• An Efficiency Study for SPLADE Models [5.725475501578801]
  本稿では,SPLADEモデルの効率向上に焦点をあてる。 本稿では、クエリのL1正規化、ドキュメント/エンコーダの分離、FLOPS正規化ミドルトレーニング、高速なクエリエンコーダの使用など、いくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T11:42:05Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。