論文の概要: LIT-RAGBench: Benchmarking Generator Capabilities of Large Language Models in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2603.06198v1
• Date: Fri, 06 Mar 2026 12:10:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.671057
• Title: LIT-RAGBench: Benchmarking Generator Capabilities of Large Language Models in Retrieval-Augmented Generation
• Title（参考訳）: LIT-RAGBench:Retrieval-Augmented Generationにおける大規模言語モデルのベンチマーク生成機能
• Abstract要約: Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) のようなジェネレータが、Retrieverを使用して外部コレクションからドキュメントを取得することで、回答を生成するフレームワークである。 既存のGeneratorのベンチマークは限定的なカバレッジを提供しており、統一された条件下で複数の機能の同時評価は不可能である。 我々は、LIT-RAGBenchを導入し、統合、推論、論理、表、無視の5つのカテゴリを定義し、それぞれが実際的な評価の側面に分かれている。
• 参考スコア（独自算出の注目度）: 1.1417805445492082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) is a framework in which a Generator, such as a Large Language Model (LLM), produces answers by retrieving documents from an external collection using a Retriever. In practice, Generators must integrate evidence from long contexts, perform multi-step reasoning, interpret tables, and abstain when evidence is missing. However, existing benchmarks for Generators provide limited coverage, with none enabling simultaneous evaluation of multiple capabilities under unified conditions. To bridge the gap between existing evaluations and practical use, we introduce LIT-RAGBench (the Logic, Integration, Table, Reasoning, and Abstention RAG Generator Benchmark), which defines five categories: Integration, Reasoning, Logic, Table, and Abstention, each further divided into practical evaluation aspects. LIT-RAGBench systematically covers patterns combining multiple aspects across categories. By using fictional entities and scenarios, LIT-RAGBench evaluates answers grounded in the provided external documents. The dataset consists of 114 human-constructed Japanese questions and an English version generated by machine translation with human curation. We use LLM-as-a-Judge for scoring and report category-wise and overall accuracy. Across API-based and open-weight models, no model exceeds 90% overall accuracy. By making strengths and weaknesses measurable within each category, LIT-RAGBench serves as a valuable metric for model selection in practical RAG deployments and for building RAG-specialized models. We release LIT-RAGBench, including the dataset and evaluation code, at https://github.com/Koki-Itai/LIT-RAGBench.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) のようなジェネレータが、Retrieverを使用して外部コレクションからドキュメントを取得することで、回答を生成するフレームワークである。 実際には、ジェネレータは長いコンテキストからエビデンスを統合し、複数のステップの推論、解釈テーブルを実行し、エビデンスが欠落している時に断定しなければなりません。 しかしながら、ジェネレータの既存のベンチマークは限定的なカバレッジを提供しており、統一された条件下で複数の機能の同時評価は不可能である。 既存の評価と実用のギャップを埋めるために,LIT-RAGBench (Logic, Integration, Table, Reasoning, Abstention RAG Generator Benchmark)を導入する。 LIT-RAGBenchは、カテゴリ間で複数の側面を組み合わせたパターンを体系的にカバーしている。 架空の実体とシナリオを使用することで、LIT-RAGBenchは提供された外部文書の答えを評価する。 このデータセットは、114人の日本人による質問と、人間のキュレーションによる機械翻訳によって生成された英語バージョンで構成されている。 LLM-as-a-Judge を用いて評価・報告を行う。 APIベースとオープンウェイトモデル全体で、全体の90%を超えるモデルはない。 LIT-RAGBenchは、各カテゴリで強度と弱点を測ることによって、実用RAGデプロイメントにおけるモデル選択とRAG特化モデルの構築に有用な指標となる。 データセットと評価コードを含むLIT-RAGBenchをhttps://github.com/Koki-Itai/LIT-RAGBenchでリリースします。

関連論文リスト

• GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
  GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。 我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。 人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
  論文  参考訳（メタデータ） (2026-08-30T15:39:39Z)
• Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning [50.27838512822097]
  我々は,グローバルRAG機能を評価するために設計された最初のベンチマークであるGlobalQAを紹介する。 我々は,チャンクレベルの検索によって構造的コヒーレンスを保存するマルチツール協調フレームワークであるGlobalRAGを提案する。 Qwen2.5-14Bモデルでは、GlobalRAGは最強のベースラインである1.51 F1と比較して6.63 F1を達成した。
  論文  参考訳（メタデータ） (2025-10-30T07:29:14Z)
• mmRAG: A Modular Benchmark for Retrieval-Augmented Generation over Text, Tables, and Knowledge Graphs [11.861763118322136]
  マルチモーダルRAGシステムを評価するためのモジュール型ベンチマークであるmmRAGを紹介する。 我々のベンチマークでは、テキスト、テーブル、知識グラフにまたがる6つの多様な問合せデータセットからのクエリを統合する。 文書関連性を注釈化し、データセット関連性を導出するための標準情報検索手順に従う。
  論文  参考訳（メタデータ） (2025-05-16T12:31:29Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
  Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。 一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。 本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
  論文  参考訳（メタデータ） (2024-07-01T09:09:27Z)
• RAGBench: Explainable Benchmark for Retrieval-Augmented Generation Systems [0.0]
  Retrieval-Augmented Generation (RAG)は、ユーザ向けチャットアプリケーションにおけるドメイン固有の知識の標準的なアーキテクチャパターンとなっている。 RAGBenchは、100kのサンプルからなる、最初の包括的な大規模RAGベンチマークデータセットである。 TRACe評価フレームワークは、すべてのRAGドメインに適用可能な説明可能かつ実行可能なRAG評価指標のセットである。
  論文  参考訳（メタデータ） (2024-06-25T20:23:15Z)
• FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research [70.6584488911715]
  検索増強世代(RAG)は、かなりの研究関心を集めている。 既存のRAGツールキットは、しばしば重くて柔軟であり、研究者のカスタマイズのニーズを満たすことができない。 我々のツールキットは16の高度なRAGメソッドを実装し、38のベンチマークデータセットを収集し、整理した。
  論文  参考訳（メタデータ） (2024-05-22T12:12:40Z)
• Evaluating Retrieval Quality in Retrieval-Augmented Generation [21.115495457454365]
  従来のエンドツーエンド評価手法は計算コストが高い。 本稿では,検索リストの各文書をRAGシステム内の大規模言語モデルで個別に利用するeRAGを提案する。 eRAGは、ランタイムを改善し、エンドツーエンド評価の最大50倍のGPUメモリを消費する、大きな計算上のアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-04-21T21:22:28Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。