Fugu-MT 論文翻訳(概要): Towards Query-Agnostic RAG Evaluation via Query Coverage and Claim Verifiability

論文の概要: Towards Query-Agnostic RAG Evaluation via Query Coverage and Claim Verifiability

arxiv url: http://arxiv.org/abs/2608.11238v1
Date: Fri, 31 Jul 2026 09:21:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-17 01:32:04.591209
Title: Towards Query-Agnostic RAG Evaluation via Query Coverage and Claim Verifiability
Title（参考訳）: クエリカバレッジとクレーム検証可能性による問合せ非依存RAG評価に向けて
Abstract要約: 本稿では,Q-CAREを提案する。Q-CAREはクエリに依存しない,完全な参照のないフレームワークで,詳細な評価を行う。 Q-CAREはクエリをサブクエリに分解し、回答をアトミックなクレームに分解する。人間の注釈付きベンチマークでは、Q-CAREは既存の4つのRAG評価指標よりも、人間の判断と高い相関を達成している。
参考スコア（独自算出の注目度）: 29.6470498810458
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval-augmented generation improves the factuality of large language models by grounding responses in retrieved evidence, yet existing evaluation frameworks struggle to provide consistent, fine-grained diagnostics across the diverse spectrum of user queries, ranging from close-ended fact-seeking to open-ended explanatory requests. We propose Q-CARE, a query-agnostic and fully reference-free framework that enables fine-grained assessment by decomposing queries into sub-queries and answers into atomic claims. Q-CARE establishes a unified evaluation principle based on query coverage and claim verifiability, yielding coverage-aware retriever metrics (C-Prec@k, C-nDCG@k) and claim-level generator metrics (Completeness, Conciseness, and Verifiableness). On a human-annotated benchmark spanning eight datasets, Q-CARE achieves higher correlation with human judgments than four existing RAG evaluation metrics, including RAGEval and RAGChecker, proving its effectiveness as a reliable, automated evaluation framework. Code and data are publicly available at https://github.com/DISL-Lab/Q-CaRE-COLM-26.
Abstract（参考訳）: Retrieval-augmented generationは、検索されたエビデンスに応答を基盤として、大規模な言語モデルの事実性を向上するが、既存の評価フレームワークでは、クローズドな事実検索からオープンな説明要求まで、多様なユーザクエリの範囲にわたって、一貫性のある、きめ細かい診断を提供するのに苦労している。本稿では,クエリをサブクエリに分解し,応答をアトミックなクレームに分解することで,詳細なアセスメントを可能にする,クエリに依存しない完全参照フリーのフレームワークであるQ-CAREを提案する。 Q-CAREは、クエリカバレッジとクレームの検証性に基づいて統一された評価原則を確立し、カバレッジ対応のレトリバーメトリクス(C-Prec@k, C-nDCG@k)とクレームレベルのジェネレータメトリクス(完全性、簡潔性、検証性)を出力する。 8つのデータセットにまたがる人間の注釈付きベンチマークでは、Q-CAREは、RAGEvalやRAGCheckerを含む4つの既存のRAG評価指標よりも、人間の判断との相関が高く、信頼性の高い自動評価フレームワークとしての有効性が証明されている。コードとデータはhttps://github.com/DISL-Lab/Q-CaRE-COLM-26で公開されている。

関連論文リスト

CQC-RAG: Robust Retrieval-Augmented Generation via Cross-Query Consistency [9.50454647525075]
CQC-RAGは,クエリレベルの多様性注入とクエリ間の一貫性の評価を共同設計するフレームワークである。 CQC-RAGは、元の質問を多様だが意味を保ったクエリに書き換える。根拠に基づくプロトコルを適用して、回答と証拠のペアを抽出し、信頼性の安定性に応じて回答を選択する。
論文参考訳（メタデータ） (2026-06-11T15:01:49Z)
LongSumEval: Question-Answering Based Evaluation and Feedback-Driven Refinement for Long Document Summarization [5.106530060248491]
LongSumEvalは構造化された質問応答フィードバックを通じて評価と生成を行う統合フレームワークである。このフレームワークは、要約品質を回答可能性と質問と回答のペアの実際のアライメントとして運用する。構造化されたフィードバックは、再トレーニングせずに自己修正を通じて、大幅な品質改善を可能にする。
論文参考訳（メタデータ） (2026-04-28T02:07:56Z)
A Knowledge Graph and a Tripartite Evaluation Framework Make Retrieval-Augmented Generation Scalable and Transparent [0.0]
本研究では,知識グラフとベクトル探索を用いて,文脈に富んだ応答を提供する検索型拡張生成(RAG)を提案する。この研究の中心的な革新はRAG評価(RAG-Eval)の導入である。 RAG-Evalは、事実のギャップとクエリミスマッチを確実に検出し、高要求でデータ中心の環境への信頼を高める。
論文参考訳（メタデータ） (2025-09-23T16:29:22Z)
Controlled Retrieval-augmented Context Evaluation for Long-form RAG [58.14561461943611]
Retrieval-augmented Generation (RAG)は、外部知識ソースから取得したコンテキストを組み込むことで、大規模言語モデルを強化する。我々は、レポート生成のような長期RAGタスクにおいて、包括的な検索強化コンテキストを提供することが重要であると論じる。本稿では,検索拡張コンテキストを直接評価するフレームワークであるCRUXを紹介する。
論文参考訳（メタデータ） (2025-06-24T23:17:48Z)
RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文参考訳（メタデータ） (2025-05-28T14:55:33Z)
Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文参考訳（メタデータ） (2024-12-16T19:11:55Z)
Human-Calibrated Automated Testing and Validation of Generative Language Models [3.2855317710497633]
本稿では,ジェネレーティブ言語モデル(GLM)の評価と検証のための包括的枠組みを提案する。銀行などの高額な領域に展開される検索・拡張世代(RAG)システムに焦点を当てている。
論文参考訳（メタデータ） (2024-11-25T13:53:36Z)
RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。 RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。 RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
論文参考訳（メタデータ） (2024-08-15T10:20:54Z)
RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文参考訳（メタデータ） (2024-08-02T13:35:11Z)
The Geometry of Queries: Query-Based Innovations in Retrieval-Augmented Generation for Healthcare QA [1.2839205715237014]
QB-RAG(QB-RAG)は、医療質問応答における検索機能強化のためのフレームワークである。 QB-RAG の鍵となるコンポーネントは LLM ベースのフィルタリング機構であり、関連する質問と回答可能な質問だけがデータベースに含まれることを保証する。医療データを用いた経験的評価は,既存の検索手法と比較してQB-RAGの優れた性能を示す。
論文参考訳（メタデータ） (2024-07-25T13:47:01Z)
SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
論文参考訳（メタデータ） (2023-09-21T16:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。