論文の概要: Evaluating Multi-Hop Reasoning in RAG Systems: A Comparison of LLM-Based Retriever Evaluation Strategies

• arxiv url: http://arxiv.org/abs/2604.18234v1
• Date: Mon, 20 Apr 2026 13:20:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.891628
• Title: Evaluating Multi-Hop Reasoning in RAG Systems: A Comparison of LLM-Based Retriever Evaluation Strategies
• Title（参考訳）: RAGシステムにおけるマルチホップ推論の評価:LCMに基づくレトリバー評価手法の比較
• Authors: Lorenz Brehme, Thomas Ströhle, Ruth Breu,
• Abstract要約: 本研究の目的は、RAGシステムにおいてマルチホップ推論がいかに効果的に評価できるかをよりよく理解することである。 OpenAI、Meta、GoogleのLLMによる実験は、CAREがRAGシステムにおけるマルチホップ推論を評価する既存の手法を一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 0.5352699766206808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) enhances large language models (LLMs) with external knowledge to answer questions more accurately. However, research on evaluating RAG systems-particularly the retriever component-remains limited, as most existing work focuses on single-context retrieval rather than multi-hop queries, where individual contexts may appear irrelevant in isolation but are essential when combined. In this research, we use the HotPotQA, MuSiQue, and SQuAD datasets to simulate a RAG system and compare three LLM-as-judge evaluation strategies, including our proposed Context-Aware Retriever Evaluation (CARE). Our goal is to better understand how multi-hop reasoning can be most effectively evaluated in RAG systems. Experiments with LLMs from OpenAI, Meta, and Google demonstrate that CARE consistently outperforms existing methods for evaluating multi-hop reasoning in RAG systems. The performance gains are most pronounced in models with larger parameter counts and longer context windows, while single-hop queries show minimal sensitivity to context-aware evaluation. Overall, the results highlight the critical role of context-aware evaluation in improving the reliability and accuracy of retrieval-augmented generation systems, particularly in complex query scenarios. To ensure reproducibility, we provide the complete data of our experiments at https://github.com/lorenzbrehme/CARE.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、外部知識によって大きな言語モデル(LLM)を強化し、より正確に質問に答える。 しかし,RAGシステムの評価に関する研究は,既存の研究はマルチホップクエリよりも単一コンテキスト検索に重点を置いており,個別のコンテキストは独立しては存在しないが,組み合わせた場合には必須である。 本研究では、HotPotQA、MuSiQue、SQuADデータセットを用いてRAGシステムをシミュレーションし、3つのLCM-as-judge評価戦略を比較した。 我々の目標は、RAGシステムにおいてマルチホップ推論がいかに効果的に評価できるかをよりよく理解することである。 OpenAI、Meta、GoogleのLLMによる実験は、CAREがRAGシステムにおけるマルチホップ推論を評価する既存の手法を一貫して上回っていることを示している。 性能向上は、パラメータ数が大きく、コンテキストウィンドウが長いモデルで最も顕著であるが、シングルホップクエリでは、コンテキスト認識評価に対する感度が最小限である。 以上の結果から,検索拡張生成システムの信頼性と精度向上において,特に複雑なクエリシナリオにおいて,文脈認識評価が重要な役割を担っていることが明らかとなった。 再現性を確保するため、実験の完全なデータはhttps://github.com/lorenzbrehme/CAREで公開しています。

関連論文リスト

• Comprehensive Comparison of RAG Methods Across Multi-Domain Conversational QA [18.46710400838861]
  本稿では,マルチターン対話型QAにおけるRAG手法の体系的比較の欠如に対処する。 本研究では,8種類の対話型QAデータセットを対象とした,バニラ法と高度なRAG法に関する総合的研究を行った。 以上の結果から,再ランク付けやハイブリッドBM25,HyDEなどの頑健で簡便な手法がバニラRAGより一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-02-10T08:59:23Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。