Fugu-MT 論文翻訳(概要): Evaluating Multi-Hop Reasoning in RAG Systems: A Comparison of LLM-Based Retriever Evaluation Strategies

論文の概要: Evaluating Multi-Hop Reasoning in RAG Systems: A Comparison of LLM-Based Retriever Evaluation Strategies

arxiv url: http://arxiv.org/abs/2604.18234v1
Date: Mon, 20 Apr 2026 13:20:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-21 21:52:52.891628
Title: Evaluating Multi-Hop Reasoning in RAG Systems: A Comparison of LLM-Based Retriever Evaluation Strategies
Title（参考訳）: RAGシステムにおけるマルチホップ推論の評価:LCMに基づくレトリバー評価手法の比較
Abstract要約: 本研究の目的は、RAGシステムにおいてマルチホップ推論がいかに効果的に評価できるかをよりよく理解することである。 OpenAI、Meta、GoogleのLLMによる実験は、CAREがRAGシステムにおけるマルチホップ推論を評価する既存の手法を一貫して上回っていることを示している。
参考スコア（独自算出の注目度）: 0.5352699766206808
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Retrieval-augmented generation (RAG) enhances large language models (LLMs) with external knowledge to answer questions more accurately. However, research on evaluating RAG systems-particularly the retriever component-remains limited, as most existing work focuses on single-context retrieval rather than multi-hop queries, where individual contexts may appear irrelevant in isolation but are essential when combined. In this research, we use the HotPotQA, MuSiQue, and SQuAD datasets to simulate a RAG system and compare three LLM-as-judge evaluation strategies, including our proposed Context-Aware Retriever Evaluation (CARE). Our goal is to better understand how multi-hop reasoning can be most effectively evaluated in RAG systems. Experiments with LLMs from OpenAI, Meta, and Google demonstrate that CARE consistently outperforms existing methods for evaluating multi-hop reasoning in RAG systems. The performance gains are most pronounced in models with larger parameter counts and longer context windows, while single-hop queries show minimal sensitivity to context-aware evaluation. Overall, the results highlight the critical role of context-aware evaluation in improving the reliability and accuracy of retrieval-augmented generation systems, particularly in complex query scenarios. To ensure reproducibility, we provide the complete data of our experiments at https://github.com/lorenzbrehme/CARE.
Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、外部知識によって大きな言語モデル(LLM)を強化し、より正確に質問に答える。しかし,RAGシステムの評価に関する研究は,既存の研究はマルチホップクエリよりも単一コンテキスト検索に重点を置いており,個別のコンテキストは独立しては存在しないが,組み合わせた場合には必須である。本研究では、HotPotQA、MuSiQue、SQuADデータセットを用いてRAGシステムをシミュレーションし、3つのLCM-as-judge評価戦略を比較した。我々の目標は、RAGシステムにおいてマルチホップ推論がいかに効果的に評価できるかをよりよく理解することである。 OpenAI、Meta、GoogleのLLMによる実験は、CAREがRAGシステムにおけるマルチホップ推論を評価する既存の手法を一貫して上回っていることを示している。性能向上は、パラメータ数が大きく、コンテキストウィンドウが長いモデルで最も顕著であるが、シングルホップクエリでは、コンテキスト認識評価に対する感度が最小限である。以上の結果から,検索拡張生成システムの信頼性と精度向上において,特に複雑なクエリシナリオにおいて,文脈認識評価が重要な役割を担っていることが明らかとなった。再現性を確保するため、実験の完全なデータはhttps://github.com/lorenzbrehme/CAREで公開しています。

関連論文リスト

Comprehensive Comparison of RAG Methods Across Multi-Domain Conversational QA [18.46710400838861]
本稿では,マルチターン対話型QAにおけるRAG手法の体系的比較の欠如に対処する。本研究では,8種類の対話型QAデータセットを対象とした,バニラ法と高度なRAG法に関する総合的研究を行った。以上の結果から,再ランク付けやハイブリッドBM25,HyDEなどの頑健で簡便な手法がバニラRAGより一貫して優れていたことが示唆された。
論文参考訳（メタデータ） (2026-02-10T08:59:23Z)
ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文参考訳（メタデータ） (2025-11-27T19:01:02Z)
RAG-IGBench: Innovative Evaluation for RAG-based Interleaved Generation in Open-domain Question Answering [50.42577862494645]
本稿では,RAG-IG(Retrieval-Augmented Generation)に基づくインターリーブドジェネレーション(Interleaved Generation)の課題を評価するためのベンチマークであるRAG-IGBenchを提案する。 RAG-IGは、MLLM(Multimodal large language model)と検索機構を統合し、モデルがコヒーレントなマルチモーダルコンテンツを生成するための外部画像テキスト情報にアクセスできるようにする。
論文参考訳（メタデータ） (2025-10-11T03:06:39Z)
Knowledge-Graph Based RAG System Evaluation Framework [27.082302648704708]
大規模言語モデル(LLM)は重要な研究対象となっている。 Retrieval Augmented Generation (RAG)は、生成したコンテンツの信頼性と関連性を大幅に向上させる。 RAGシステムの評価は依然として難しい課題である。
論文参考訳（メタデータ） (2025-10-02T20:36:21Z)
PRGB Benchmark: A Robust Placeholder-Assisted Algorithm for Benchmarking Retrieval-Augmented Generation [15.230902967865925]
Retrieval-Augmented Generation (RAG)は、外部知識を統合することで、大規模言語モデル(LLM)を強化する。現在のベンチマークでは、ノイズの堅牢性などの幅広い側面を強調しているが、文書利用に関する体系的できめ細かい評価フレームワークは欠如している。我々のベンチマークは、より信頼性が高く効率的なRAGシステムを開発するための再現可能なフレームワークを提供する。
論文参考訳（メタデータ） (2025-07-23T16:14:08Z)
LTRR: Learning To Rank Retrievers for LLMs [53.285436927963865]
ルーティングベースのRAGシステムは、単一リトリバーベースのシステムよりも優れていることを示す。パフォーマンス向上は、特にAnswer Correctness(AC)メトリックでトレーニングされたモデルで顕著である。 SIGIR 2025 LiveRAG チャレンジの一環として,提案システムを用いて提案手法の有効性を実証した。
論文参考訳（メタデータ） (2025-06-16T17:53:18Z)
Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文参考訳（メタデータ） (2024-12-16T19:11:55Z)
RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文参考訳（メタデータ） (2024-08-02T13:35:11Z)
BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
論文参考訳（メタデータ） (2024-07-01T09:09:27Z)
CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文参考訳（メタデータ） (2024-01-30T14:25:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。