Fugu-MT 論文翻訳(概要): Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations

論文の概要: Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations

arxiv url: http://arxiv.org/abs/2607.07302v1
Date: Wed, 08 Jul 2026 11:44:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-09 22:50:30.362958
Title: Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations
Title（参考訳）: 応用文脈におけるRAGメトリクスの評価:実験,発見,限界
Abstract要約: この実験は、人間のアノテータがビジネスデータから作成した質問応答データセットに基づいている。 RAGシステムの生成した応答と検索したスパンを,4つのライブラリから評価指標を用いて評価する。
参考スコア（独自算出の注目度）: 0.6260916845720538
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper reports an empirical study evaluating the relevance of several RAG metrics. The experiment is based on a question-answering dataset created by human annotators from business data. The generated responses and retrieved spans of a RAG system are scored using evaluation metrics from four libraries (Ragas, DeepEval, RAGChecker, Opik). These metrics are compared to scores given by two evaluators, as well as to standard metrics such as recall. An analysis of correlations is conducted. Finally, we highlight certain limitations of our methodology, compare it to those used in the literature, and suggest some avenues for future research. This paper is an English translation of a paper originally published in the French-speaking workshop EvalLLM (Brabant, 2026).
Abstract（参考訳）: 本稿では,複数のRAG測定値の関連性を評価する実証的研究を報告する。この実験は、人間のアノテータがビジネスデータから作成した質問応答データセットに基づいている。 4つのライブラリ(Ragas、DeepEval、RAGChecker、Opik)の評価指標を用いて、RAGシステムの生成された応答と検索スパンをスコアする。これらの指標は、リコールのような標準的な指標と同様に、2つの評価者によって与えられるスコアと比較される。相関分析を行う。最後に,本手法の限界を強調し,文献で使用されるものと比較し,今後の研究への道筋を提案する。本論文は、フランス語圏のワークショップ「EvalLLM (Brabant, 2026)」で最初に出版された論文の英訳である。

関連論文リスト

Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文参考訳（メタデータ） (2026-03-09T18:20:20Z)
Human-Centered Evaluation of RAG outputs: a framework and questionnaire for human-AI collaboration [0.0]
我々は12次元にわたるRAG出力を評価する質問紙を設計した。我々は,人間レーダと人間-LLMのペアからのフィードバックを取り入れた。その結果、大規模言語モデル(LLM)はメートル法記述やスケールラベルに確実に焦点を合わせているが、テキストフォーマットのバリエーションを検出するには弱点があることがわかった。
論文参考訳（メタデータ） (2025-09-30T13:08:33Z)
Controlled Retrieval-augmented Context Evaluation for Long-form RAG [58.14561461943611]
Retrieval-augmented Generation (RAG)は、外部知識ソースから取得したコンテキストを組み込むことで、大規模言語モデルを強化する。我々は、レポート生成のような長期RAGタスクにおいて、包括的な検索強化コンテキストを提供することが重要であると論じる。本稿では,検索拡張コンテキストを直接評価するフレームワークであるCRUXを紹介する。
論文参考訳（メタデータ） (2025-06-24T23:17:48Z)
Reference-free Evaluation Metrics for Text Generation: A Survey [18.512882012973005]
自然言語生成システムにいくつかの自動評価指標が提案されている。自動評価の最も一般的なアプローチは、モデル出力と人間によって書かれた金標準基準を比較する基準ベースの計量を使うことである。近年、様々な基準のないメトリクスが開発されている。
論文参考訳（メタデータ） (2025-01-21T10:05:48Z)
ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
論文参考訳（メタデータ） (2024-10-18T16:11:29Z)
RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文参考訳（メタデータ） (2024-08-02T13:35:11Z)
Evaluation of RAG Metrics for Question Answering in the Telecom Domain [0.650923326742559]
Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)が質問応答(QA)タスクを実行できるようにするために広く使われている。この作業は、いくつかの指標(事実性、文脈関連性、回答関連性、回答正当性、回答類似性、事実正当性)に対して修正されたこのパッケージで、プロンプトの中間出力を提供する。次に、修正されたRAGASパッケージの出力のエキスパート評価を分析し、通信領域で使用する際の課題を観察する。
論文参考訳（メタデータ） (2024-07-15T17:40:15Z)
BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
論文参考訳（メタデータ） (2024-07-01T09:09:27Z)
Evaluating Retrieval Quality in Retrieval-Augmented Generation [21.115495457454365]
従来のエンドツーエンド評価手法は計算コストが高い。本稿では,検索リストの各文書をRAGシステム内の大規模言語モデルで個別に利用するeRAGを提案する。 eRAGは、ランタイムを改善し、エンドツーエンド評価の最大50倍のGPUメモリを消費する、大きな計算上のアドバンテージを提供する。
論文参考訳（メタデータ） (2024-04-21T21:22:28Z)
Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion [78.76867266561537]
評価プロセスは、予測された真理のカテゴリと基底的真理のカテゴリの類似性を考慮せずに、クローズドセットのメトリクスに大きく依存している。この問題に対処するため、まず2つのカテゴリー語間の11の類似度の測定を行った。我々は,3つのオープン語彙セグメンテーションタスクに適した,オープンmIoU,オープンAP,オープンPQという新しい評価指標を設計した。
論文参考訳（メタデータ） (2023-11-06T18:59:01Z)
A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文参考訳（メタデータ） (2021-03-31T18:28:14Z)
SacreROUGE: An Open-Source Library for Using and Developing Summarization Evaluation Metrics [74.28810048824519]
SacreROUGEは、要約評価メトリクスの使用と開発のためのオープンソースライブラリである。このライブラリは、既存の評価メトリクスの公式実装に関するPythonラッパーを提供する。ライブラリに実装されたメトリックが、人間による注釈付き判断とどの程度の相関があるかを評価する機能を提供する。
論文参考訳（メタデータ） (2020-07-10T13:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。