論文の概要: RAGPerf: An End-to-End Benchmarking Framework for Retrieval-Augmented Generation Systems

• arxiv url: http://arxiv.org/abs/2603.10765v1
• Date: Wed, 11 Mar 2026 13:41:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.968879
• Title: RAGPerf: An End-to-End Benchmarking Framework for Retrieval-Augmented Generation Systems
• Title（参考訳）: RAGPerf:Retrieval-Augmented Generation Systemsのためのエンドツーエンドベンチマークフレームワーク
• Abstract要約: 本稿では,RAGパイプラインのシステム動作を特徴付けるフレームワークであるRAGPerfを提案する。 RAGPerfは、RAGワークフローを、埋め込み、インデックス付け、検索、再ランク付け、生成という、いくつかのモジュラーコンポーネントに分離する。
• 参考スコア（独自算出の注目度）: 12.746258032881238
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present the design and implementation of a RAG-based AI system benchmarking (RAGPerf) framework for characterizing the system behaviors of RAG pipelines. To facilitate detailed profiling and fine-grained performance analysis, RAGPerf decouples the RAG workflow into several modular components - embedding, indexing, retrieval, reranking, and generation. RAGPerf offers the flexibility for users to configure the core parameters of each component and examine their impact on the end-to-end query performance and quality. RAGPerf has a workload generator to model real-world scenarios by supporting diverse datasets (e.g., text, pdf, code, and audio), different retrieval and update ratios, and query distributions. RAGPerf also supports different embedding models, major vector databases such as LanceDB, Milvus, Qdrant, Chroma, and Elasticsearch, as well as different LLMs for content generation. It automates the collection of performance metrics (i.e., end-to-end query throughput, host/GPU memory footprint, and CPU/GPU utilization) and accuracy metrics (i.e., context recall, query accuracy, and factual consistency). We demonstrate the capabilities of RAGPerf through a comprehensive set of experiments and open source its codebase at GitHub. Our evaluation shows that RAGPerf incurs negligible performance overhead.
• Abstract（参考訳）: 本稿では,RAGパイプラインのシステム動作を特徴付けるためのRAGPerf(RAGPerf)フレームワークの設計と実装について述べる。 詳細なプロファイリングと詳細なパフォーマンス分析を容易にするため、RAGPerfはRAGワークフローをいくつかのモジュールコンポーネント(埋め込み、インデックス付け、検索、リグレード、生成)に分離する。 RAGPerfは、各コンポーネントのコアパラメータを設定し、エンドツーエンドのクエリパフォーマンスと品質への影響を調べる柔軟性を提供する。 RAGPerfには、さまざまなデータセット(テキスト、pdf、コード、オーディオなど)、さまざまな検索と更新比率、クエリ分散をサポートすることで、現実世界のシナリオをモデル化するワークロードジェネレータがある。 RAGPerfは、異なる埋め込みモデル、LanceDB、Milvus、Qdrant、Chroma、Elasticsearchのような主要なベクトルデータベース、およびコンテンツ生成のための異なるLLMをサポートする。 パフォーマンスメトリクス(エンドツーエンドのクエリスループット、ホスト/GPUメモリフットプリント、CPU/GPU利用)と精度メトリクス(コンテキストリコール、クエリ精度、事実整合性)の収集を自動化する。 我々は、総合的な実験を通じてRAGPerfの能力を実証し、そのコードベースをGitHubでオープンソース化した。 我々の評価では、RAGPerfは無視できる性能のオーバーヘッドを発生させる。

関連論文リスト

• Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
  Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。 我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。 本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
  論文  参考訳（メタデータ） (2026-03-09T18:20:20Z)
• RAGPulse: An Open-Source RAG Workload Trace to Optimize RAG Serving Systems [10.189392948536446]
  本稿では,オープンソースのRAGワークロードトレースデータセットであるRAGPulseを紹介する。 このデータセットは2024年4月以降に4万人以上の学生と学部に提供される大学全体のQ&Aシステムから収集された。 分析の結果,実世界のRAGワークロードは,時間的および高度に歪んだホットドキュメントアクセスパターンを示すことがわかった。
  論文  参考訳（メタデータ） (2025-11-17T05:06:47Z)
• Multi-Agent GraphRAG: A Text-to-Cypher Framework for Labeled Property Graphs [7.943264761730892]
  Multi-Agent GraphRAGはLPGベースのグラフデータに対する自然言語インタフェースとして機能する。 繰り返しコンテンツ認識の修正と正規化は、集約されたフィードバックループによって強化され、生成されたクエリのセマンティックおよび構文的改善の両方を保証する。 このことは、このようなアプローチがAIを大規模に現実世界のアプリケーションにブリッジする方法を強調し、産業用デジタル自動化のユースケースを可能にしている。
  論文  参考訳（メタデータ） (2025-11-11T14:04:00Z)
• RAG-IGBench: Innovative Evaluation for RAG-based Interleaved Generation in Open-domain Question Answering [50.42577862494645]
  本稿では,RAG-IG(Retrieval-Augmented Generation)に基づくインターリーブドジェネレーション(Interleaved Generation)の課題を評価するためのベンチマークであるRAG-IGBenchを提案する。 RAG-IGは、MLLM(Multimodal large language model)と検索機構を統合し、モデルがコヒーレントなマルチモーダルコンテンツを生成するための外部画像テキスト情報にアクセスできるようにする。
  論文  参考訳（メタデータ） (2025-10-11T03:06:39Z)
• PRGB Benchmark: A Robust Placeholder-Assisted Algorithm for Benchmarking Retrieval-Augmented Generation [15.230902967865925]
  Retrieval-Augmented Generation (RAG)は、外部知識を統合することで、大規模言語モデル(LLM)を強化する。 現在のベンチマークでは、ノイズの堅牢性などの幅広い側面を強調しているが、文書利用に関する体系的できめ細かい評価フレームワークは欠如している。 我々のベンチマークは、より信頼性が高く効率的なRAGシステムを開発するための再現可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-07-23T16:14:08Z)
• AdaVideoRAG: Omni-Contextual Adaptive Retrieval-Augmented Efficient Long Video Understanding [73.60257070465377]
  AdaVideoRAGは、軽量なインテント分類器を使用して、クエリ複雑性に基づいた検索に適応する新しいフレームワークである。 我々のフレームワークは、Omni-Knowledge Indexingモジュールを使用して、テキスト(キャプション、ASR、OCR)、視覚的特徴、セマンティックグラフから階層データベースを構築する。 実験では、既存のMLLMにシームレスに統合することで、長時間ビデオ理解のための効率と精度の向上が示されている。
  論文  参考訳（メタデータ） (2025-06-16T15:18:15Z)
• Optimizing the Interface Between Knowledge Graphs and LLMs for Complex Reasoning [0.0]
  知識グラフを用いた大規模言語モデル(LLM) Cognaneは、エンドツーエンドのKG構築と検索のためのモジュラーフレームワークである。 チャンキング、グラフ構築、検索、プロンプトに関連するパラメータを最適化する。
  論文  参考訳（メタデータ） (2025-05-30T11:27:59Z)
• mmRAG: A Modular Benchmark for Retrieval-Augmented Generation over Text, Tables, and Knowledge Graphs [11.861763118322136]
  マルチモーダルRAGシステムを評価するためのモジュール型ベンチマークであるmmRAGを紹介する。 我々のベンチマークでは、テキスト、テーブル、知識グラフにまたがる6つの多様な問合せデータセットからのクエリを統合する。 文書関連性を注釈化し、データセット関連性を導出するための標準情報検索手順に従う。
  論文  参考訳（メタデータ） (2025-05-16T12:31:29Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• WeQA: A Benchmark for Retrieval Augmented Generation in Wind Energy Domain [2.8514947506989707]
  Large Language Models (LLM) と Retrieval Augmented Generation (RAG) アプローチは、トランスフォーメーションソリューションを提供する。 本稿では,ドメイン関連RAGベンチマークを生成するための包括的なフレームワークを提案する。 風力エネルギー領域の第一級ベンチマークであるWeQAを導入することで、この枠組みを実証する。
  論文  参考訳（メタデータ） (2024-08-21T17:43:11Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research [70.6584488911715]
  検索増強世代(RAG)は、かなりの研究関心を集めている。 既存のRAGツールキットは、しばしば重くて柔軟であり、研究者のカスタマイズのニーズを満たすことができない。 我々のツールキットは16の高度なRAGメソッドを実装し、38のベンチマークデータセットを収集し、整理した。
  論文  参考訳（メタデータ） (2024-05-22T12:12:40Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。