論文の概要: Evaluating Transparency of Machine Generated Fact Checking Explanations

• arxiv url: http://arxiv.org/abs/2406.12645v1
• Date: Tue, 18 Jun 2024 14:13:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:38:36.971224
• Title: Evaluating Transparency of Machine Generated Fact Checking Explanations
• Title（参考訳）: マシン生成 Fact Checking Explanations の透明性評価
• Authors: Rui Xing, Timothy Baldwin, Jey Han Lau,
• Abstract要約: 本研究では,大規模言語モデルを用いた説明生成における人間計算と機械選択による証拠の影響について検討する。 驚いたことに、機械選択された証拠を用いて、大きな言語モデルが類似またはより高品質な説明を生成することがわかった。
• 参考スコア（独自算出の注目度）: 48.776087871960584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An important factor when it comes to generating fact-checking explanations is the selection of evidence: intuitively, high-quality explanations can only be generated given the right evidence. In this work, we investigate the impact of human-curated vs. machine-selected evidence for explanation generation using large language models. To assess the quality of explanations, we focus on transparency (whether an explanation cites sources properly) and utility (whether an explanation is helpful in clarifying a claim). Surprisingly, we found that large language models generate similar or higher quality explanations using machine-selected evidence, suggesting carefully curated evidence (by humans) may not be necessary. That said, even with the best model, the generated explanations are not always faithful to the sources, suggesting further room for improvement in explanation generation for fact-checking.
• Abstract（参考訳）: 事実チェックの説明を生成する上で重要な要素は、証拠の選択である。 そこで本研究では,大規模言語モデルを用いた説明生成における人間計算と機械選択による証拠の影響について検討する。 説明の質を評価するために、透明性(説明が適切な情報源を引用するかどうか)と実用性(説明が主張を明確にするのに役立つかどうか)に焦点を当てる。 意外なことに、大きな言語モデルでは、機械選択された証拠を用いて、類似またはより高品質な説明が生成され、慎重にキュレートされた証拠(人間による)が不要である可能性が示唆された。 とはいえ、最良のモデルであっても、生成された説明が必ずしも情報源に忠実であるとは限らないため、事実確認のための説明生成の改善の余地が示唆されている。

関連論文リスト

• FactLens: Benchmarking Fine-Grained Fact Verification [6.814173254027381]
  我々は、複雑なクレームを個別の検証のためにより小さなサブステートに分割する、きめ細かい検証へのシフトを提唱する。 我々は,ファクトレンス(FactLens)という,ファクトレンス(FactLens)という,詳細な事実検証のベンチマークを紹介した。 この結果から,FactLens自動評価器と人的判断との整合性を示し,評価性能に対する準定値特性の影響について考察した。
  論文  参考訳（メタデータ） (2024-11-08T21:26:57Z)
• Comparing zero-shot self-explanations with human rationales in multilingual text classification [5.32539007352208]
  命令調整 LLM は計算や複雑な XAI 法の適用を必要としない自己説明を生成する。 入力論理の形で自己説明を評価することによって、この能力が良い説明をもたらすかどうかを解析する。 以上の結果から,自己説明はLRPよりも人間のアノテーションと密接に一致し,忠実度は同等であることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T10:14:12Z)
• Evaluating the Reliability of Self-Explanations in Large Language Models [2.8894038270224867]
  このような自己説明の2つのタイプ – 抽出的, 対実的 – を評価した。 以上の結果から,これらの自己説明は人間の判断と相関するが,モデルの決定過程を完全に的確に従わないことが明らかとなった。 このギャップを橋渡しできるのは, 反実的な説明をLCMに促すことによって, 忠実で, 情報的で, 容易に検証できる結果が得られるからである。
  論文  参考訳（メタデータ） (2024-07-19T17:41:08Z)
• Can LLMs Produce Faithful Explanations For Fact-checking? Towards Faithful Explainable Fact-Checking via Multi-Agent Debate [75.10515686215177]
  大規模言語モデル(LLM)はテキスト生成に優れるが、事実チェックにおいて忠実な説明を生成する能力は依然として過小評価されている。 多様な役割を持つエージェントとして複数のLSMを利用するマルチエージェント・デベート・リファインメント(MADR)フレームワークを提案する。 MADRは、最終的な説明が厳密な検証を行い、不誠実な要素の可能性を著しく低減し、提示された証拠と密接に一致させることを保証する。
  論文  参考訳（メタデータ） (2024-02-12T04:32:33Z)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
  「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。 本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T19:31:21Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• Generating Fluent Fact Checking Explanations with Unsupervised Post-Editing [22.5444107755288]
  本稿では,句レベルの編集のみを用いて,支配コメントの教師なし後編集を行う反復編集アルゴリズムを提案する。 本モデルでは, 流動性, 可読性, 非冗長性, 事実チェックのための重要な情報をカバーする説明文を生成する。
  論文  参考訳（メタデータ） (2021-12-13T15:31:07Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。