論文の概要: GRADE: Generating multi-hop QA and fine-gRAined Difficulty matrix for RAG Evaluation

• arxiv url: http://arxiv.org/abs/2508.16994v1
• Date: Sat, 23 Aug 2025 11:26:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.29146
• Title: GRADE: Generating multi-hop QA and fine-gRAined Difficulty matrix for RAG Evaluation
• Title（参考訳）: GRADE: RAG評価のためのマルチホップQAと細粒度分散行列の生成
• Authors: Jeongsoo Lee, Daeyong Kwon, Kyohoon Jin,
• Abstract要約: Retrieval-Augmented Generation (RAG) システムは知識集約型NLPタスクに広く採用されている。 現在の評価は、実世界のシナリオで必要とされる構造的な複雑さと多段階の推論を見落としていることが多い。 タスクの難易度を2次元でモデル化する新しい評価フレームワークであるtextscGRADEを提案する。
• 参考スコア（独自算出の注目度）: 5.002953635224383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) systems are widely adopted in knowledge-intensive NLP tasks, but current evaluations often overlook the structural complexity and multi-step reasoning required in real-world scenarios. These benchmarks overlook key factors such as the interaction between retrieval difficulty and reasoning depth. To address this gap, we propose \textsc{GRADE}, a novel evaluation framework that models task difficulty along two orthogonal dimensions: (1) reasoning depth, defined by the number of inference steps (hops), and (2) semantic distance between the query and its supporting evidence. We construct a synthetic multi-hop QA dataset from factual news articles by extracting knowledge graphs and augmenting them through semantic clustering to recover missing links, allowing us to generate diverse and difficulty-controlled queries. Central to our framework is a 2D difficulty matrix that combines generator-side and retriever-side difficulty. Experiments across multiple domains and models show that error rates strongly correlate with our difficulty measures, validating their diagnostic utility. \textsc{GRADE} enables fine-grained analysis of RAG performance and provides a scalable foundation for evaluating and improving multi-hop reasoning in real-world applications.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは知識集約型NLPタスクに広く採用されているが、現在の評価は実世界のシナリオで必要とされる構造的複雑さや多段階推論を無視することが多い。 これらのベンチマークは、検索難易度と推論深度との相互作用のような重要な要素を見落としている。 このギャップに対処するために,(1)推論ステップ(ホップ)の数によって定義される深度を推論し,(2)クエリと支持エビデンスの間の意味的距離を推定する,2つの直交次元に沿ってタスクの難易度をモデル化する新しい評価フレームワークである「textsc{GRADE}」を提案する。 我々は、知識グラフを抽出し、セマンティッククラスタリングによってそれらを拡張し、リンクの欠落を回復することで、実ニュース記事から合成マルチホップQAデータセットを構築し、多様で難易度に制御されたクエリを生成する。 我々のフレームワークの中心は、ジェネレータサイドとレトリバーサイドの難易度を組み合わせた2次元の難易度行列である。 複数のドメインやモデルにまたがる実験では、エラー率は我々の困難度と強く相関し、診断ユーティリティーを検証する。 \textsc{GRADE} はRAG性能のきめ細かい解析を可能にし、実世界のアプリケーションにおけるマルチホップ推論の評価と改善のためのスケーラブルな基盤を提供する。

関連論文リスト

• LeanRAG: Knowledge-Graph-Based Generation with Semantic Aggregation and Hierarchical Retrieval [10.566901995776025]
  LeanRAGは知識集約と検索戦略を組み合わせたフレームワークです。 グラフ上のパス検索に関連するかなりのオーバーヘッドを軽減し、冗長な情報検索を最小限にする。
  論文  参考訳（メタデータ） (2025-08-14T06:47:18Z)
• MultiRAG: A Knowledge-guided Framework for Mitigating Hallucination in Multi-source Retrieval Augmented Generation [5.243680711038957]
  MultiRAGは、マルチソース検索拡張世代における幻覚を緩和する新しいフレームワークである。 複数ソースのライングラフを使用して、異なる知識ソース間の論理的関係を効率的に集約する。 マルチレベル信頼度計算機構を実装し、信頼できない情報ノードを識別・排除するために、グラフレベルとノードレベルのアセスメントを実行する。
  論文  参考訳（メタデータ） (2025-08-05T15:20:52Z)
• Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs [69.10441885629787]
  Retrieval-Augmented Generation (RAG) は、外部知識を注入することによって、Large Language Models (LLM) の事実性を高める。 逆に、純粋に推論指向のアプローチは、しばしば幻覚的あるいは誤った事実を必要とする。 この調査は両鎖を統一的推論-検索の観点から合成する。
  論文  参考訳（メタデータ） (2025-07-13T03:29:41Z)
• Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
  大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。 既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。 近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
  論文  参考訳（メタデータ） (2025-06-11T12:03:52Z)
• Breakpoint: Scalable evaluation of system-level reasoning in LLM code agents [40.37993572657772]
  本稿では,コード修復タスクを自動的に生成するベンチマーク手法であるBreakpointを紹介する。 我々の手法は、最も簡単なタスクの55%から最も難しいタスクの0%まで、最先端のモデルの成功率で任意の難易度にスケール可能であることを実証する。
  論文  参考訳（メタデータ） (2025-05-30T19:23:51Z)
• Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations [65.11348389219887]
  そこで,Dialectic-RAG(Dialectic-RAG, DRAG)を提案する。 我々は、文脈内学習戦略と、より小さなモデルをインストラクションするための実演の構築の両方において、我々のフレームワークが与える影響を示す。
  論文  参考訳（メタデータ） (2025-04-07T06:55:15Z)
• MHTS: Multi-Hop Tree Structure Framework for Generating Difficulty-Controllable QA Datasets for RAG Evaluation [5.525151548786079]
  既存のRAGベンチマークはクエリの難しさを見落とし、単純な質問や信頼性の低い評価でパフォーマンスが膨らむ。 MHTS(Multi-Hop Tree Structure)は、マルチホップツリー構造を利用して、論理的に連結されたマルチチャンククエリを生成することで、マルチホップ推論の複雑さを制御する新しいデータセット合成フレームワークである。
  論文  参考訳（メタデータ） (2025-03-29T06:26:01Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
  算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。 混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
  論文  参考訳（メタデータ） (2024-01-17T18:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。