論文の概要: Correctness is not Faithfulness in RAG Attributions

• arxiv url: http://arxiv.org/abs/2412.18004v1
• Date: Mon, 23 Dec 2024 21:57:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:39.232499
• Title: Correctness is not Faithfulness in RAG Attributions
• Title（参考訳）: RAG属性の正確性は忠実ではない
• Authors: Jonas Wallat, Maria Heuss, Maarten de Rijke, Avishek Anand,
• Abstract要約: ソースドキュメントを明示的に引用することで、ユーザは生成されたレスポンスを検証し、信頼を高めることができる。 先行研究は引用正当性(引用された文書が対応する文をサポートするかどうか)を概ね評価している。 評価された回答に対する信頼を確立するためには、引用の正しさと引用の忠実さの両方を検討する必要がある。
• 参考スコア（独自算出の注目度）: 47.48625339105129
• License:
• Abstract: Retrieving relevant context is a common approach to reduce hallucinations and enhance answer reliability. Explicitly citing source documents allows users to verify generated responses and increases trust. Prior work largely evaluates citation correctness - whether cited documents support the corresponding statements. But citation correctness alone is insufficient. To establish trust in attributed answers, we must examine both citation correctness and citation faithfulness. In this work, we first disentangle the notions of citation correctness and faithfulness, which have been applied inconsistently in previous studies. Faithfulness ensures that the model's reliance on cited documents is genuine, reflecting actual reference use rather than superficial alignment with prior beliefs, which we call post-rationalization. We design an experiment that reveals the prevalent issue of post-rationalization, which undermines reliable attribution and may result in misplaced trust. Our findings suggest that current attributed answers often lack citation faithfulness (up to 57 percent of the citations), highlighting the need to evaluate correctness and faithfulness for trustworthy attribution in language models.
• Abstract（参考訳）: 関連するコンテキストを取得することは、幻覚を減らし、回答の信頼性を高めるための一般的なアプローチである。 ソースドキュメントを明示的に引用することで、ユーザは生成されたレスポンスを検証し、信頼を高めることができる。 先行研究は引用正当性(引用された文書が対応する文をサポートするかどうか)を概ね評価している。 しかし、引用の正確性だけでは不十分だ。 評価された回答に対する信頼を確立するためには、引用の正しさと引用の忠実さの両方を検討する必要がある。 本研究は,従来の研究では矛盾しない引用正しさと忠実さの概念をまず解き放つ。 忠実さは、モデルが引用された文書への依存が本物であることを保証する。 我々は、信頼関係を損なうことや、不在な信頼を招きかねない、合理化後の一般的な問題を明らかにする実験を設計する。 以上の結果から,現在の属性回答には引用の忠実さ(引用の最大57%)が欠如していることが示唆され,言語モデルにおける信頼に値する帰属に対する正当性と忠実さを評価する必要性が指摘された。

関連論文リスト

• Towards Faithful Natural Language Explanations: A Study Using Activation Patching in Large Language Models [29.67884478799914]
  大きな言語モデル(LLM)は、その答えを正当化するために説得力のある自然言語説明(NLE)を生成することができる。 近年,NLEの忠実度を測定するための様々な手法が提案されている。 これらのアプローチは、確立された忠実性の定義に従って包括的でも正しくも設計されていない、と我々は主張する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:42Z)
• Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
  事前学習データにおいて,信頼された情報源から動詞句を引用するモデルを構築した。 Quote-Tuningの中核は、信頼されたコーパスに対するテキストを効率的に検証する高速なメンバシップ推論機能である。 実験により、Quote-Tuningは、ベースモデルと比較して高品質なドキュメントからの動詞の引用を最大130%増加させることが示された。
  論文  参考訳（メタデータ） (2024-04-05T02:27:09Z)
• Zero-shot Faithful Factual Error Correction [53.121642212060536]
  事実の誤りを忠実に訂正することは、テキストの知識基盤の整合性を維持し、シーケンス・ツー・シーケンス・モデルにおける幻覚を防ぐために重要である。 提案するゼロショットフレームワークは,入力クレームに関する質問を定式化し,与えられたエビデンスにおける正しい回答を求め,そのエビデンスとの整合性に基づいて各補正の忠実さを評価する。
  論文  参考訳（メタデータ） (2023-05-13T18:55:20Z)
• Read it Twice: Towards Faithfully Interpretable Fact Verification by Revisiting Evidence [59.81749318292707]
  本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。 提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
  論文  参考訳（メタデータ） (2023-05-02T03:23:14Z)
• Assessing Confidence with Assurance 2.0 [0.0]
  信頼は単一の属性や測定に還元できない、と我々は主張する。 ポジティブ・パースペクティブ(Positive Perspectives)は、事件の証拠と全体論が一体化して肯定的な声明を下す程度を考察する。 否定的な視点は、典型的には敗者として表されるこの事件に対する疑念と挑戦を記録している。 Residual Doubts: 世界は不確実であり、すべての潜在的な敗者を解決することはできない。
  論文  参考訳（メタデータ） (2022-05-03T22:10:59Z)
• Correcting Exposure Bias for Link Recommendation [31.799185352323807]
  露出バイアスは、ユーザーが特定の関連項目に体系的に過小評価されているときに生じる。 このバイアスを軽減するために、既知の露光確率を利用する推定器を提案する。 我々の手法は、推奨論文の研究分野においてより多様性をもたらす。
  論文  参考訳（メタデータ） (2021-06-13T16:51:41Z)
• REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation Metrics for Open-domain Dialog Generation [63.46331073232526]
  オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。 予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。 本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
  論文  参考訳（メタデータ） (2021-05-30T10:04:13Z)
• Towards Faithfully Interpretable NLP Systems: How should we define and evaluate faithfulness? [58.13152510843004]
  ディープラーニングベースのNLPモデルの普及に伴い、解釈可能なシステムの必要性が高まっている。 解釈可能性とは何か、そして高品質な解釈を構成するものは何か? 我々は、解釈が満たすべき異なる望ましい基準をより明確に区別し、忠実度基準に焦点を合わせることを求めている。
  論文  参考訳（メタデータ） (2020-04-07T20:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。