Fugu-MT 論文翻訳(概要): Real-Time Evaluation Models for RAG: Who Detects Hallucinations Best?

論文の概要: Real-Time Evaluation Models for RAG: Who Detects Hallucinations Best?

arxiv url: http://arxiv.org/abs/2503.21157v1
Date: Thu, 27 Mar 2025 04:50:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-28 12:51:45.621042
Title: Real-Time Evaluation Models for RAG: Who Detects Hallucinations Best?
Title（参考訳）: RAGのリアルタイム評価モデル:誰が最も幻覚を検出するか?
Authors: Ashish Sardana,
Abstract要約: 本稿では,検索・拡張世代(RAG)における幻覚を自動的に検出する評価モデルについて検討する。 LLM-as-a-Judge, Prometheus, Lynx, Hughes Hallucination Evaluation Model (HHEM), the Trustworthy Language Model (TLM)。
参考スコア（独自算出の注目度）: 2.5291444980058353
License:
Abstract: This article surveys Evaluation models to automatically detect hallucinations in Retrieval-Augmented Generation (RAG), and presents a comprehensive benchmark of their performance across six RAG applications. Methods included in our study include: LLM-as-a-Judge, Prometheus, Lynx, the Hughes Hallucination Evaluation Model (HHEM), and the Trustworthy Language Model (TLM). These approaches are all reference-free, requiring no ground-truth answers/labels to catch incorrect LLM responses. Our study reveals that, across diverse RAG applications, some of these approaches consistently detect incorrect RAG responses with high precision/recall.
Abstract（参考訳）: 本稿では,レトリーバル拡張生成(RAG)における幻覚を自動的に検出する評価モデルを調査し,その性能を6つのRAGアプリケーションで総合的に評価する。本研究に含まれる手法は, LLM-as-a-Judge, Prometheus, Lynx, Hughes Hallucination Evaluation Model (HHEM), the Trustworthy Language Model (TLM)である。これらのアプローチはすべて参照レスであり、誤ったLCM応答をキャッチするために、基調的な回答/ラベルは不要である。本研究は, 多様なRAGアプリケーションにおいて, 高精度/リコールによる不正確なRAG応答を一貫して検出することを明らかにする。

関連論文リスト

Enhancing RAG with Active Learning on Conversation Records: Reject Incapables and Answer Capables [17.76687504479359]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)における外部知識の活用と幻覚の低減のための重要な手法である。本稿では,LLMを用いた多種多様な会話を用いて高品質なデータセットを構築することを提案する。本稿では、アクティブラーニングを用いて、アノテーションに最も適した会話サンプルを選択するAL4RAGを紹介する。
論文参考訳（メタデータ） (2025-02-13T08:42:29Z)
Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
論文参考訳（メタデータ） (2024-09-24T14:52:14Z)
RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文参考訳（メタデータ） (2024-08-02T13:35:11Z)
Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation [8.975024781390077]
MIRAGE --Model Internals-based RAG Explanations -- このモデル内部を用いたプラグアンドプレイアプローチは、質問応答アプリケーションにおける忠実な回答属性である。提案手法を多言語QAデータセット上で評価し,人間の回答属性と高い一致性を見いだした。
論文参考訳（メタデータ） (2024-06-19T16:10:26Z)
PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。 LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
論文参考訳（メタデータ） (2024-04-06T20:02:20Z)
Zero-shot Generative Large Language Models for Systematic Review Screening Automation [55.403958106416574]
本研究では,ゼロショット大言語モデルを用いた自動スクリーニングの有効性について検討した。本研究では, 8種類のLCMの有効性を評価し, 予め定義されたリコール閾値を用いた校正手法について検討する。
論文参考訳（メタデータ） (2024-01-12T01:54:08Z)
RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models [9.465753274663061]
大規模言語モデル(LLM)の幻覚を緩和する主要な手法は、検索拡張世代(RAG)である。本稿では,各ドメインにおける単語レベルの幻覚の分析に適したコーパスであるRAGTruthについて述べる。
論文参考訳（メタデータ） (2023-12-31T04:43:45Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
論文参考訳（メタデータ） (2023-09-04T08:28:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。