論文の概要: RAGMark: A Comprehensive Framework for Benchmarking Retrieval-Augmented Generation Systems
- arxiv url: http://arxiv.org/abs/2609.05760v1
- Date: Fri, 04 Sep 2026 22:44:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.130828
- Title: RAGMark: A Comprehensive Framework for Benchmarking Retrieval-Augmented Generation Systems
- Title（参考訳）: RAGMark: Retrieval-Augmented Generation Systemsのベンチマークのための総合的なフレームワーク
- Abstract要約: 本稿では,RAG(Retrieval-Augmented Generation)システムのベンチマークフレームワークであるRAGMarkを紹介する。
RAGMarkは、レトリバー、ベクトルデータベース、プロンプト処理方法、ジェネレータモデルを含む多様なRAGコンポーネントを評価する。
自動回帰生成は、ナイーブパイプラインの遅延を支配しているが、コンテキストベースの手法は、計算、メモリ帯域幅、前処理ステージのボトルネックをシフトさせる。
- 参考スコア（独自算出の注目度）: 32.97108456220722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present RAGMark, a modular benchmarking framework for advanced Retrieval-Augmented Generation (RAG) systems targeting small-scale multi-GPU environments. RAGMark evaluates diverse RAG components, including retrievers, vector databases, prompt-processing methods, and generator models, while collecting detailed per-stage metrics such as latency, GPU utilization, memory consumption, power usage, time to first token (TTFT), throughput, and answer quality. The framework is highly extensible, separating RAG stages, timing, and resource monitoring into modular components, and is designed to efficiently sweep large configuration spaces while minimizing repeated model and database initialization overhead. Using RAGMark, we characterize five RAG workloads on open-domain QA datasets across varying retrieval depths, model scales, reranking, compression methods, and vector database configurations. We show that while autoregressive generation dominates latency in naive pipelines, context-reduction techniques shift bottlenecks across compute, memory bandwidth, and preprocessing stages. Reranking and compression produce compounding benefits: reranking reduces compression workload itself, while both jointly reduce prefill and KV-cache traversal costs, lowering energy consumption by up to 66%. We further observe strong cross-stage interactions, where small upstream context reductions cascade through downstream latency, memory traffic, and energy consumption. The RAGMark source code is publicly available at: https://github.com/zferic/RAGMark.
- Abstract（参考訳）: 本稿では,大規模マルチGPU環境を対象として,RAG(Retrieval-Augmented Generation)システムのためのモジュール型ベンチマークフレームワークであるRAGMarkを提案する。
RAGMarkは、レトリバー、ベクトルデータベース、プロンプト処理方法、ジェネレータモデルを含む多様なRAGコンポーネントを評価し、待ち時間、GPU使用量、メモリ使用量、電力使用量、TTFT(Time to First token)、スループット、応答品質などの詳細なステージ単位のメトリクスを収集している。
フレームワークは非常に拡張性が高く、RAGステージ、タイミング、リソース監視をモジュールコンポーネントに分離し、繰り返しモデルとデータベースの初期化オーバーヘッドを最小限にしつつ、大きな構成空間を効率的に掃除するように設計されている。
RAGMarkを用いて、検索深度、モデルスケール、再ランク付け、圧縮方法、ベクトルデータベース構成の異なる、オープンドメインQAデータセット上の5つのRAGワークロードを特徴付ける。
自己回帰生成は、ナイーブパイプラインの遅延を支配しているが、コンテクスト推論技術は、計算、メモリ帯域幅、前処理ステージのボトルネックをシフトさせる。
再品位と圧縮は複合的な利点をもたらす: 再品位は圧縮ワークロード自体を減らし、同時にプレフィルとKVキャッシュのトラバースコストを減らし、エネルギー消費を最大66%削減する。
さらに、下流の待ち時間、メモリトラフィック、エネルギー消費によって、小さな上流のコンテキストがカスケードを減少させるような、強力なクロスステージ相互作用も観察する。
RAGMarkのソースコードは、https://github.com/zferic/RAGMarkで公開されている。
関連論文リスト
- eMEM: A Hybrid Spatio-Temporal Memory System For Embodied Agents [1.8047694351309203]
物理環境で動作するエンボディエージェントのためのハイブリッドグラフベースメモリシステムeMEMを提案する。
eMEMはこのギャップをマルチインデックスアーキテクチャ(構造化ストレージ用ITE、近傍セマンティックサーチ用hlib、空間クエリ用Rツリー)で埋める。
また,eMEM-Bench v1は,メモリ評価のためのProcTHOR-10Kシーン上で構築したベンチマークである。
論文 参考訳（メタデータ） (2026-06-02T09:22:12Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳（メタデータ） (2026-05-20T07:25:33Z) - Attention Itself Could Retrieve.RetrieveVGGT: Training-Free Long Context Streaming 3D Reconstruction via Query-Key Similarity Retrieval [86.05617542701644]
Visual Geometry Grounded Transformer (VGGT)はスケーラブルなTransformerアーキテクチャを通じて3D再構成を行う。
StreamVGGTは因果的にストリーミングを可能にするが、KVキャッシュはフレームとともに線形に成長し、メモリオーバーフローと品質劣化を引き起こす。
本稿では、VGGTのコンテキスト構築を検索問題として定式化する、トレーニング不要なフレームワークRetrieveVGGTを提案する。
論文 参考訳（メタデータ） (2026-05-10T16:41:54Z) - Generating Leakage-Free Benchmarks for Robust RAG Evaluation [21.380693848036547]
Retrieval-augmented Generation (RAG) は、大規模な言語モデル(LLM)を外部知識で拡張するために広く使われている。
RAG性能をテストするために設計された多くのベンチマークデータセットは、LLMのパラメトリックメモリから既に答えられる多くの質問で構成されている。
半合成ベンチマーク生成パイプラインであるSeedRGを導入し、知識リークを軽減し、ベンチマーク老化の問題に対処する。
論文 参考訳（メタデータ） (2026-05-09T09:48:50Z) - S2GS: Streaming Semantic Gaussian Splatting for Online Scene Understanding and Reconstruction [57.07346645250984]
Streaming Semantic Gaussian Splatting (S2GS) は厳密に因果的かつ漸進的な3D Gaussianセマンティックフィールドフレームワークである。
将来のフレームを活用せず、歴史的フレームを再処理することなく、シーンの幾何学、外観、インスタンスレベルのセマンティクスを継続的に更新する。
S2GSは、ジョイントリコンストラクションとアンダーホールドのベンチマークにおいて、強いオフラインベースラインをマッチまたは上回る。
論文 参考訳（メタデータ） (2026-03-15T05:48:55Z) - LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。
LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。
このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
論文 参考訳（メタデータ） (2026-03-03T18:55:37Z) - REFRAG: Rethinking RAG based Decoding [67.4862300145604]
REFRAGは効率的なデコードフレームワークで、RAGアプリケーションの遅延を圧縮し、感知し、拡張し、改善する。
本稿では,RAG,マルチターン会話,長期文書要約など,多種多様な長文タスクを対象としたREFRAGの厳密な検証を行う。
論文 参考訳（メタデータ） (2025-09-01T03:31:44Z) - HedraRAG: Coordinating LLM Generation and Database Retrieval in Heterogeneous RAG Serving [10.130938079844121]
HedraRAGはグラフベースの抽象化に基づいて構築されたランタイムシステムで、ステージレベルの並列性、要求内類似性、要求間歪性といった最適化の機会を公開する。
結果として発生する実行計画は、リソース使用率を改善し、レイテンシを低減するために、ハイブリッドCPU-GPUパイプラインにマップされる。
論文 参考訳（メタデータ） (2025-07-12T04:42:43Z) - Efficient Distributed Retrieval-Augmented Generation for Enhancing Language Model Performance [34.695803671702606]
小言語モデル(SLM)はリソース制約のあるエッジデバイスへの効率的なデプロイをサポートするが、その限られた能力は推論性能を損なう。
Retrieval-augmented Generation(RAG)は、デバイス上でのモデル再トレーニングを必要とせずに、外部データベースを統合することによってモデルパフォーマンスを向上させるための有望なソリューションである。
文書のプライバシーを漏洩させることなく、一般知識と個人知識の両方を通じてデバイス上のSLMを強化する分散RAGフレームワークであるDRAGONを提案する。
論文 参考訳（メタデータ） (2025-04-15T13:53:08Z) - TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval [16.65446281180872]
Retrieval-augmented Generation (RAG)は、大規模な言語モデル(LLM)を外部データソースに拡張する。
現代のRAGパイプラインは大規模なデータストアに依存しており、レイテンシに敏感なデプロイメントにおけるシステムの課題につながっている。
我々は,GPUメモリの必要量を最小限に抑え,RAGレイテンシを低減する効率的な推論システムであるTeleRAGを提案する。
論文 参考訳（メタデータ） (2025-02-28T11:32:22Z) - A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。
まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。
3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
論文 参考訳（メタデータ） (2025-02-21T10:12:34Z) - RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation [11.321659218769598]
Retrieval-Augmented Generation (RAG)は、様々な自然言語処理タスクにおいて大幅に改善されている。
RAGCacheは、検索した知識の中間状態を知識ツリーに整理し、それらをGPUとホストメモリ階層にキャッシュする。
RAGCacheは、最初のトークン(TTTF)までの時間を最大4倍に削減し、スループットを最大2.1倍改善する。
論文 参考訳（メタデータ） (2024-04-18T18:32:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。