Fugu-MT 論文翻訳(概要): An Adaptive Vector Index Partitioning Scheme for Low-Latency RAG Pipeline

論文の概要: An Adaptive Vector Index Partitioning Scheme for Low-Latency RAG Pipeline

arxiv url: http://arxiv.org/abs/2504.08930v1
Date: Fri, 11 Apr 2025 19:18:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-25 02:42:51.104079
Title: An Adaptive Vector Index Partitioning Scheme for Low-Latency RAG Pipeline
Title（参考訳）: 低レイテンシRAGパイプラインのための適応ベクトルインデックス分割方式
Authors: Junkyum Kim, Divya Mahajan,
Abstract要約: Retrieval Augmented Generation (RAG) システムは、大規模言語モデル(LLM)とベクトルデータベースを統合することで、応答品質を向上させる。ベクターサーチとLLMサービスのための既存の最適化は、主に独立して開発されている。本稿では,RAGシステム用に設計されたベクトルインデックス分割機構であるVectorLiteRAGを紹介する。
参考スコア（独自算出の注目度）: 0.6445605125467574
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval Augmented Generation (RAG) systems enhance response quality by integrating Large Language Models (LLMs) with vector databases, enabling external knowledge retrieval to support language model reasoning. While RAG enables efficient question answering with smaller LLMs, existing optimizations for vector search and LLM serving have largely been developed in isolation. As a result, their integration often leads to suboptimal end-to-end performance. ... This paper introduces VectorLiteRAG, an optimized vector index partitioning mechanism designed for RAG systems that enhances the responsiveness of the system by jointly optimizing vector search and LLM serving across CPU and GPU system. A key challenge is to determine which indices and how much of the vector index should reside on the GPU and adjusting LLM batch sizes to balance the pipeline for lower Time-To-First-Token (TTFT) and meeting user-defined Service-Level Objectives (SLOs). To address this, we leverage the insight that cluster access in vector databases exhibits access skew, where a subset of clusters are queried significantly more frequently than others. VectorLiteRAG exploits this property through an optimized memory distribution strategy, dynamically allocating the minimum number of vector indices corresponding to frequently accessed clusters onto the GPU HBM to ensure a balanced pipeline with the LLM for high responsiveness. This adaptive partitioning scheme is guided by a statistical model that informs memory allocation and workload distribution. Our evaluation demonstrates that VectorLiteRAG improves vector search responsiveness by 2x, significantly reduces end-to-end TTFT in RAG systems by intelligently balancing memory resources between vector search and LLM execution.
Abstract（参考訳）: Retrieval Augmented Generation (RAG) システムは,Large Language Models (LLM) とベクトルデータベースを統合することで,応答品質を向上させる。 RAGはより小さなLLMで効率的な質問応答を実現するが、既存のベクトル探索とLLMサービスに対する最適化はほとんど独立して開発されている。結果として、それらの統合は、しばしば最適なエンドツーエンドのパフォーマンスをもたらす。はぁ...。本稿では,CPUおよびGPUシステムにまたがるベクトル探索とLLMを協調的に最適化することにより,システムの応答性を高めるために最適化されたベクトルインデックス分割機構であるVectorLiteRAGを提案する。重要な課題は、どのインデックスとベクターインデックスがGPU上に存在するべきかを判断し、LLMバッチサイズを調整し、パイプラインを低いTTFT(Time-To-First-Token)とユーザ定義のSLO(Service-Level Objectives)とのバランスをとることだ。これを解決するために、ベクトルデータベースにおけるクラスタアクセスがアクセススキューを示すという洞察を活用し、クラスタのサブセットが他よりもはるかに頻繁にクエリされる。 VectorLiteRAGはこの特性を最適化されたメモリ分散戦略を通じて利用し、頻繁にアクセスされるクラスタに対応するベクターインデックスの最小数をGPU HBMに動的に割り当て、LLMとのバランスの取れたパイプラインを高い応答性で確保する。この適応的なパーティショニング方式は、メモリ割り当てとワークロード分布を知らせる統計モデルによって導かれる。評価の結果,VectorLiteRAGはベクトル探索応答性を2倍に向上し,ベクトル探索とLLM実行のメモリリソースをインテリジェントにバランスさせることにより,RAGシステムにおけるエンドツーエンドTTFTを大幅に低減することがわかった。

関連論文リスト

TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval [10.268774281394261]
Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)を外部データソースに拡張し、事実の正しさとドメインカバレッジを高める。現代のRAGパイプラインは大規模なデータストアに依存しており、レイテンシに敏感なデプロイメントにおけるシステムの課題につながっている。我々は,GPUメモリの必要量を最小限に抑え,RAGレイテンシを低減する効率的な推論システムであるTeleRAGを提案する。
論文参考訳（メタデータ） (2025-02-28T11:32:22Z)
LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
論文参考訳（メタデータ） (2024-10-21T18:06:25Z)
RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards [78.74923079748521]
Retrieval-Augmented Generation (RAG) は、外部リソースから知識を取得することで、Large Language Models (LLM) における幻覚を緩和する効果を証明している。現在のアプローチでは、命令チューニングを使用してLLMを最適化し、検索した知識を活用する能力を改善している。本稿では,異なるRAGモジュール間でデータ嗜好を整列させることでRAGシステムを訓練するDDR法を提案する。
論文参考訳（メタデータ） (2024-10-17T12:53:29Z)
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval [24.472784635757016]
RetrievalAttentionは、注意計算を高速化し、GPUメモリ消費を減らすためのトレーニング不要のアプローチである。 RetrievalAttentionは1-3%のデータのみを必要としながら、ほぼ全注意精度を達成できることを示す。
論文参考訳（メタデータ） (2024-09-16T17:59:52Z)
Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを50.83%削減しながら、最大12.97%の精度向上を実現している。
論文参考訳（メタデータ） (2024-07-11T06:50:19Z)
LLM-Vectorizer: LLM-based Verified Loop Vectorizer [12.048697450464935]
大規模言語モデル(LLM)は、個々の配列要素を処理するスカラープログラムからベクトル化されたコードを生成することができる。 LLMは1.1xから9.4xまでのランタイムスピードアップで高性能なベクトルコードを生成することができる。我々のアプローチでは、TSVCベンチマークデータセットで正しいベクター化の38.2%を検証できる。
論文参考訳（メタデータ） (2024-06-07T07:04:26Z)
Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection [28.15184715270483]
大きな言語モデル (LLM) は、検索によって強化され、堅牢な性能と広範な汎用性を示す。本稿では,スパースRAGという新しいパラダイムを提案する。 Sparse RAGは、検索したドキュメントを並列にエンコードする。
論文参考訳（メタデータ） (2024-05-25T11:10:04Z)
Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文参考訳（メタデータ） (2024-02-27T14:21:56Z)
Chameleon: a Heterogeneous and Disaggregated Accelerator System for Retrieval-Augmented Language Models [20.286113681831814]
Retrieval-Augmented Language Model (RALM)は、大規模言語モデル(LLM)とベクトルデータベースを組み合わせて、文脈固有の知識を検索する。 LLMとベクトルサーチを融合した異種加速器Chameleonを提案する。
論文参考訳（メタデータ） (2023-10-15T20:57:25Z)
Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
論文参考訳（メタデータ） (2023-04-10T09:55:14Z)
NumS: Scalable Array Programming for the Cloud [82.827921577004]
タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
論文参考訳（メタデータ） (2022-06-28T20:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。