論文の概要: Explaining Sources of Uncertainty in Automated Fact-Checking

• arxiv url: http://arxiv.org/abs/2505.17855v1
• Date: Fri, 23 May 2025 13:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.08887
• Title: Explaining Sources of Uncertainty in Automated Fact-Checking
• Title（参考訳）: 自動Fact-Checkingにおける不確実性源の解説
• Authors: Jingyi Sun, Greta Warren, Irina Shklovski, Isabelle Augenstein,
• Abstract要約: CLUE (Conflict-and-Agreement-aware Language-aware Language-model Uncertainty Explanations) は、モデル不確実性の自然言語説明を生成するフレームワークである。 クレーム・エビデンス(クレーム・エビデンス)またはインターエビデンス・コンフリクト(インターエビデンス・コンフリクト)を暴露するテキストと、モデルの予測の不確実性を促進する合意の間の関係を識別する。 CLUEは、モデルの不確実性により忠実で、事実チェックの決定とより一貫性のある説明を生成する。
• 参考スコア（独自算出の注目度）: 41.236833314783134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding sources of a model's uncertainty regarding its predictions is crucial for effective human-AI collaboration. Prior work proposes using numerical uncertainty or hedges ("I'm not sure, but ..."), which do not explain uncertainty that arises from conflicting evidence, leaving users unable to resolve disagreements or rely on the output. We introduce CLUE (Conflict-and-Agreement-aware Language-model Uncertainty Explanations), the first framework to generate natural language explanations of model uncertainty by (i) identifying relationships between spans of text that expose claim-evidence or inter-evidence conflicts and agreements that drive the model's predictive uncertainty in an unsupervised way, and (ii) generating explanations via prompting and attention steering that verbalize these critical interactions. Across three language models and two fact-checking datasets, we show that CLUE produces explanations that are more faithful to the model's uncertainty and more consistent with fact-checking decisions than prompting for uncertainty explanations without span-interaction guidance. Human evaluators judge our explanations to be more helpful, more informative, less redundant, and more logically consistent with the input than this baseline. CLUE requires no fine-tuning or architectural changes, making it plug-and-play for any white-box language model. By explicitly linking uncertainty to evidence conflicts, it offers practical support for fact-checking and generalises readily to other tasks that require reasoning over complex information.
• Abstract（参考訳）: モデルが予測する不確実性の原因を理解することは、効果的な人間とAIの協調に不可欠である。 先行研究では、数値的な不確実性やヘッジ("I'm not sure, but ...")の使用を提案しているが、これは矛盾する証拠から生じる不確実性を説明するものではない。 CLUE (Conflict-and-Agreement-aware Language-Aware Language-Aware Uncertainty Explanations) は、モデルの不確実性に関する自然言語記述を生成する最初のフレームワークである。 一 請求明細書又は請求明細書間の紛争及びモデルの予測不確実性を監督されていない方法で駆動する合意を公表するテキスト間の関係を識別すること。 (二)これらの重要な相互作用を口頭で表現する刺激的・注意的ステアリングによる説明を生成すること。 3つの言語モデルと2つのファクトチェックデータセットを通して、CLUEはモデルの不確実性に忠実で、ファクトチェックの決定に一貫性のある説明を生成する。 人間の評価者は、私たちの説明は、このベースラインよりも有用で、情報的で、冗長ではなく、入力と論理的に整合していると判断します。 CLUEは微調整やアーキテクチャの変更を必要としないため、どんなホワイトボックス言語モデルでもプラグイン&プレイできる。 不確実性と証拠の衝突を明示的に結びつけることで、事実チェックの実践的なサポートを提供し、複雑な情報に対する推論を必要とする他のタスクに容易に一般化する。

関連論文リスト

• Conflicts in Texts: Data, Implications and Challenges [58.03478157713084]
  矛盾は、状況の複雑さ、説明と対処が必要な変更、データアノテーションの難しさ、生成された出力の誤りを反映する可能性がある。 本調査ではこれらの矛盾を,(1)事実的矛盾,主観的偏見,および複数の視点が矛盾を生じさせるWeb上の自然テキスト,(2)注釈者がモデルトレーニングに影響を及ぼす注釈付きデータ,(3)幻覚と知識の衝突が発生するモデルインタラクションの3つの重要な領域に分類する。 我々は、対立する情報をより効果的に推論し、調整できる紛争対応NLPシステムの開発における重要な課題と今後の方向性を強調した。
  論文  参考訳（メタデータ） (2025-04-28T04:24:01Z)
• CRAVE: A Conflicting Reasoning Approach for Explainable Claim Verification Using LLMs [15.170312674645535]
  CRAVE は、説明可能なクレーム VErification に対する Conflicting Reasoning Approach である。 大規模な言語モデルによって推論される矛盾する理性に基づいて、複雑なクレームを検証することができる。 CRAVEは最先端の手法よりもはるかに優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-04-21T07:20:31Z)
• Identifying Drivers of Predictive Aleatoric Uncertainty [2.5311562666866494]
  本稿では,予測的アレタリック不確実性を説明するための簡単なアプローチを提案する。 ガウス出力分布にニューラルネットワークを適用することにより,回帰の不確かさを予測分散として推定する。 このアプローチは、複雑な公表されたアプローチよりも確実に不確実性の影響を説明することができる。
  論文  参考訳（メタデータ） (2023-12-12T13:28:53Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Towards Improving Faithfulness in Abstractive Summarization [37.19777407790153]
  本稿では,抽象的な要約における忠実度を改善するために,FES(Fithfulness Enhanced Summarization Model)を提案する。 我々のモデルはCNN/DMとXSumの実験において強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-10-04T19:52:09Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。