論文の概要: AmbiFC: Fact-Checking Ambiguous Claims with Evidence

• arxiv url: http://arxiv.org/abs/2104.00640v2
• Date: Wed, 31 May 2023 11:18:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 23:34:37.792215
• Title: AmbiFC: Fact-Checking Ambiguous Claims with Evidence
• Title（参考訳）: AmbiFC: 証拠のある曖昧な主張
• Authors: Max Glockner, Ieva Stali\=unait\.e, James Thorne, Gisela Vallejo, Andreas Vlachos, Iryna Gurevych
• Abstract要約: 本稿では,実世界の情報ニーズから現実的なクレームを抽出した大規模ファクトチェックデータセットAmbiFCを提案する。 本研究では,アンビFCにおける曖昧な主張から生じる不一致を分析し,アノテータの不一致と自己評価との強い相関を観察した。 文章レベルのエビデンス選択と正確性予測のためのアノテーション蒸留によるパイプラインが,最高の性能をもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 65.33065218729176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated fact-checking systems in real-world scenarios must compare claims with retrieved evidence to predict the veracity. The retrieved evidence may not unambiguously support or refute the claim and yield diverse valid interpretations. Existing fact-checking datasets necessitate that models predict a single veracity label for each claim and lack the ability to manage such ambiguity. We present AmbiFC, a large-scale fact-checking dataset with realistic claims derived from real-world information needs. Our dataset contains fine-grained evidence annotations of passages from complete Wikipedia pages. We thoroughly analyze disagreements arising from ambiguous claims in AmbiFC, observing a strong correlation of annotator disagreement with their self-assessment and expert-annotated linguistic phenomena. We introduce the task of evidence-based fact-checking for ambiguous claims with soft labels, and compare three methodologies incorporating annotation signals with a single-label classification approach. We find that a pipeline with annotation distillation for sentence-level evidence selection and veracity prediction yields the best performance. Models trained on ambiguous instances exhibit improved performance dealing with the identified linguistic categories, and acquire an understanding of nuanced differences among evidence sentences associated with diverse veracity interpretations.
• Abstract（参考訳）: 実世界のシナリオにおける自動事実チェックシステムは、正確性を予測するために、クレームと回収された証拠を比較する必要がある。 回収された証拠は,明快にクレームを支持し,反証し,かつ,多様な有効な解釈を与えることができない。 既存のファクトチェックデータセットは、モデルが各クレームに対して単一のveracityラベルを予測し、そのような曖昧さを管理する能力がない必要がある。 本稿では,実世界の情報ニーズから現実的なクレームを抽出した大規模ファクトチェックデータセットAmbiFCを提案する。 データセットには、完全なウィキペディアページからのパスの詳細なエビデンスアノテーションが含まれています。 我々はAmbiFCにおける曖昧な主張から生じる不一致を徹底的に分析し、アノテータの自己評価と専門家による言語現象との強い相関を観察した。 本稿では,ソフトラベルを用いたあいまいなクレームに対するエビデンスに基づくファクトチェックのタスクを紹介し,アノテーション信号と単一ラベル分類アプローチを組み合わせた3つの手法を比較した。 文レベルのエビデンス選択と検証性予測のための注記蒸留のパイプラインが最良の性能をもたらすことを見出した。 あいまいなインスタンスでトレーニングされたモデルは、識別された言語カテゴリの処理性能が向上し、様々な検証解釈に関連付けられた証拠文間のニュアンス的差異の理解を得る。

関連論文リスト

• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• Heterogeneous Graph Reasoning for Fact Checking over Texts and Tables [22.18384189336634]
  HeterFCは、非構造化情報および構造化情報に対するFact Checkingのための単語レベルの不均一グラフベースのモデルである。 我々は,レーショナルグラフニューラルネットワークによる情報伝達,クレームとエビデンス間の相互作用を行う。 本稿では,エビデンス検索における潜在的な不正確性を考慮したマルチタスク損失関数を提案する。
  論文  参考訳（メタデータ） (2024-02-20T14:10:40Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Claim-Dissector: An Interpretable Fact-Checking System with Joint Re-ranking and Veracity Prediction [4.082750656756811]
  本稿では,ファクトチェックと分析のための新しい潜在変数モデルであるCrim-Dissectorを提案する。 検証可能な方法で、証拠ごとの関連性確率とその最終的な妥当性確率への寄与を解き明かす。 その解釈可能な性質にもかかわらず、私たちのシステムはFEVERデータセットの最先端と競合する。
  論文  参考訳（メタデータ） (2022-07-28T14:30:06Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact Verification [19.130541561303293]
  本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。 2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T14:33:12Z)
• DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
  ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。 文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。 その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T15:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。