論文の概要: The Gray Zone of Faithfulness: Taming Ambiguity in Unfaithfulness Detection

• arxiv url: http://arxiv.org/abs/2510.21118v2
• Date: Mon, 27 Oct 2025 02:50:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 13:14:10.641904
• Title: The Gray Zone of Faithfulness: Taming Ambiguity in Unfaithfulness Detection
• Title（参考訳）: 不信感のグレーゾーン:不信感検出におけるあいまいさのテーピング
• Authors: Qiang Ding, Lvzhou Luo, Yixuan Cao, Ping Luo,
• Abstract要約: 既存のベンチマークは、許容可能な外部知識の境界が不明確なため、アノテーションの曖昧さに悩まされている。 本稿では,中間カテゴリであるOut-Dependentを導入した新しい忠実度アノテーションフレームワークを提案する。 このフレームワークを用いて、要約における新しい不誠実検出ベンチマークであるVeriGrayを構築する。
• 参考スコア（独自算出の注目度）: 27.25270218197248
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Ensuring that Large Language Models (LLMs) generate summaries faithful to a given source document is essential for real-world applications. While prior research has explored LLM faithfulness, existing benchmarks suffer from annotation ambiguity, primarily due to the ill-defined boundary of permissible external knowledge in generated outputs. For instance, common sense is often incorporated into responses and labeled as "faithful", yet the acceptable extent of such knowledge remains unspecified, leading to inconsistent annotations. To address this issue, we propose a novel faithfulness annotation framework, which introduces an intermediate category, Out-Dependent, to classify cases where external knowledge is required for verification. Using this framework, we construct VeriGray (Verification with the Gray Zone) -- a new unfaithfulness detection benchmark in summarization. Statistics reveal that even SOTA LLMs, such as GPT-5, exhibit hallucinations ($\sim 6\%$ of sentences) in summarization tasks. Moreover, a substantial proportion ($\sim 8\%$ on average of models) of generated sentences fall into the Out-Dependent category, underscoring the importance of resolving annotation ambiguity in unfaithfulness detection benchmarks. Experiments demonstrate that our benchmark poses significant challenges to multiple baseline methods, indicating considerable room for future improvement.
• Abstract（参考訳）: LLM(Large Language Models)が与えられたソース文書に忠実な要約を生成することは、現実世界のアプリケーションにとって不可欠である。 従来の研究ではLCMの忠実さを調査していたが、既存のベンチマークはアノテーションの曖昧さに悩まされており、主に生成された出力における許容可能な外部知識の境界が不明確なためである。 例えば、常識はしばしば応答に組み込まれ、"fithful"とラベル付けされるが、そのような知識の許容範囲は未定のままであり、矛盾するアノテーションへと繋がる。 この問題に対処するために,検証に外部知識を必要とする事例を分類するために,中間カテゴリであるOut-Dependentを導入した新しい忠実度アノテーションフレームワークを提案する。 このフレームワークを用いて、要約における新しい不誠実検出ベンチマークであるVeriGray(Verification with the Gray Zone)を構築する。 統計学によれば、GPT-5のようなSOTA LLMでさえ、要約タスクにおいて幻覚(文の6\%)を呈している。 さらに、生成された文のかなりの割合(モデルの平均 8 %$)は、不完全性検出ベンチマークにおけるアノテーションの曖昧さを解消することの重要性を強調して、Out-Dependentカテゴリに該当する。 実験により、我々のベンチマークは、複数のベースラインメソッドに重大な課題をもたらし、将来の改善の余地があることが示されている。

関連論文リスト

• FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
  FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。 我々の枠組みは差別的な決定問題として不誠実検出を定式化している。 FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
  論文  参考訳（メタデータ） (2025-10-05T05:16:54Z)
• Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
  本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。 本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
  論文  参考訳（メタデータ） (2025-05-27T11:56:59Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• Faithful, Unfaithful or Ambiguous? Multi-Agent Debate with Initial Stance for Summary Evaluation [29.44609627447293]
  本稿では,複数のエージェントに初期スタンスを割り当てた忠実度評価を要約する手法を提案する。 我々は、このような特殊な事例を特定するために、新しい次元、曖昧さ、詳細な分類を導入します。 実験により、我々のアプローチはあいまいさの識別に役立ち、曖昧でない要約でもより強力なパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2025-02-12T15:46:50Z)
• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。