論文の概要: Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for Misinformation

• arxiv url: http://arxiv.org/abs/2210.13865v1
• Date: Tue, 25 Oct 2022 09:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 14:39:08.150208
• Title: Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for Misinformation
• Title（参考訳）: 反証の欠如はnlpの事実チェックを誤った情報に非現実的なものにする
• Authors: Max Glockner, Yufang Hou, Iryna Gurevych
• Abstract要約: 誤報は、信頼できる情報が限られている不確実な時に現れる。 NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
• 参考スコア（独自算出の注目度）: 67.69725605939315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Misinformation emerges in times of uncertainty when credible information is limited. This is challenging for NLP-based fact-checking as it relies on counter-evidence, which may not yet be available. Despite increasing interest in automatic fact-checking, it is still unclear if automated approaches can realistically refute harmful real-world misinformation. Here, we contrast and compare NLP fact-checking with how professional fact-checkers combat misinformation in the absence of counter-evidence. In our analysis, we show that, by design, existing NLP task definitions for fact-checking cannot refute misinformation as professional fact-checkers do for the majority of claims. We then define two requirements that the evidence in datasets must fulfill for realistic fact-checking: It must be (1) sufficient to refute the claim and (2) not leaked from existing fact-checking articles. We survey existing fact-checking datasets and find that all of them fail to satisfy both criteria. Finally, we perform experiments to demonstrate that models trained on a large-scale fact-checking dataset rely on leaked evidence, which makes them unsuitable in real-world scenarios. Taken together, we show that current NLP fact-checking cannot realistically combat real-world misinformation because it depends on unrealistic assumptions about counter-evidence in the data.
• Abstract（参考訳）: 信頼できる情報が限られているとき、誤った情報が不確実性時に現れる。 NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。 自動事実チェックへの関心が高まっているにもかかわらず、自動化アプローチが有害な現実世界の誤報を現実的に否定できるかどうかは不明だ。 ここでは,nlpのファクトチェックとプロのファクトチェッカーによる偽情報対策の比較を行った。 本分析では,既存のnlpタスク定義を設計上,プロのファクトチェッカーが主張の大部分に対して行っているように,誤情報を反論できないことを示す。 次に、データセットの証拠が現実的な事実チェックのために満たさなければならない2つの要件を定義します。 既存のファクトチェックデータセットを調査し、それらのすべてが両方の基準を満たしていないことを確認する。 最後に、大規模なファクトチェックデータセットでトレーニングされたモデルがリークした証拠に依存していることを示す実験を行い、現実のシナリオでは不適切であることを示す。 そこで本研究では,現状のnlpファクトチェックでは,実世界の誤情報と現実的に対応できないことを示す。

関連論文リスト

• Grounding Fallacies Misrepresenting Scientific Publications in Evidence [84.32990746227385]
  誤検出データセットMisciの拡張であるMisciPlusを紹介する。 MissciPlusはMissci上に構築されており、誤表現された研究から現実世界の通路で適用された誤報を根拠にしている。 MissciPlusは、現実世界の誤った証拠と誤った主張を組み合わせた最初の論理的誤認データセットである。
  論文  参考訳（メタデータ） (2024-08-23T03:16:26Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• Credible, Unreliable or Leaked?: Evidence Verification for Enhanced Automated Fact-checking [11.891881050619457]
  『信頼性・信頼性・信頼性・漏れ』データセットは、Credible, Un Reliable, Fact Check (Leaked)に分類される91,632件からなる。 「証拠検証ネットワーク(EVVER-Net)は、短文・長文ともに漏洩・信頼性の低い証拠を検出するためにCREDULEで訓練した」 「EVVER-Netは91.5%と94.4%の精度で素晴らしい性能を誇示できる」
  論文  参考訳（メタデータ） (2024-04-29T13:47:04Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
  本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。 これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。 偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
  論文  参考訳（メタデータ） (2022-02-18T19:01:01Z)
• FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
  実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。 我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
  論文  参考訳（メタデータ） (2021-07-05T17:31:44Z)
• Automatic Fake News Detection: Are Models Learning to Reason? [9.143551270841858]
  クレームと証拠の両方の関係と重要性を調査します。 驚くべきことに、政治的事実チェックデータセットでは、最も頻繁に最も有効性が高いことが証拠のみを利用して得られます。 これは、既存のフェイクニュース検出手法における証拠を構成する重要な問題である。
  論文  参考訳（メタデータ） (2021-05-17T09:34:03Z)
• The Role of Context in Detecting Previously Fact-Checked Claims [27.076320857009655]
  我々は、文脈が本当に重要である政治的議論でなされた主張に焦点を当てている。 本稿では,事実確認説明書において,クレームのコンテキストをソース側とターゲット側の両方でモデル化することの影響について検討する。
  論文  参考訳（メタデータ） (2021-04-15T12:39:37Z)
• Explainable Automated Fact-Checking for Public Health Claims [11.529816799331979]
  本稿では,特定の専門知識を必要とするクレームに対する説明可能なファクトチェックに関する最初の研究について述べる。 ケーススタディでは公衆衛生の設定を選択します。 正確性予測と説明生成という2つの課題を探求する。
  論文  参考訳（メタデータ） (2020-10-19T23:51:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。