論文の概要: Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for
Misinformation
- arxiv url: http://arxiv.org/abs/2210.13865v1
- Date: Tue, 25 Oct 2022 09:40:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 14:39:08.150208
- Title: Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for
Misinformation
- Title(参考訳): 反証の欠如はnlpの事実チェックを誤った情報に非現実的なものにする
- Authors: Max Glockner, Yufang Hou, Iryna Gurevych
- Abstract要約: 誤報は、信頼できる情報が限られている不確実な時に現れる。
NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
- 参考スコア(独自算出の注目度): 67.69725605939315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Misinformation emerges in times of uncertainty when credible information is
limited. This is challenging for NLP-based fact-checking as it relies on
counter-evidence, which may not yet be available. Despite increasing interest
in automatic fact-checking, it is still unclear if automated approaches can
realistically refute harmful real-world misinformation. Here, we contrast and
compare NLP fact-checking with how professional fact-checkers combat
misinformation in the absence of counter-evidence. In our analysis, we show
that, by design, existing NLP task definitions for fact-checking cannot refute
misinformation as professional fact-checkers do for the majority of claims. We
then define two requirements that the evidence in datasets must fulfill for
realistic fact-checking: It must be (1) sufficient to refute the claim and (2)
not leaked from existing fact-checking articles. We survey existing
fact-checking datasets and find that all of them fail to satisfy both criteria.
Finally, we perform experiments to demonstrate that models trained on a
large-scale fact-checking dataset rely on leaked evidence, which makes them
unsuitable in real-world scenarios. Taken together, we show that current NLP
fact-checking cannot realistically combat real-world misinformation because it
depends on unrealistic assumptions about counter-evidence in the data.
- Abstract(参考訳): 信頼できる情報が限られているとき、誤った情報が不確実性時に現れる。
NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
自動事実チェックへの関心が高まっているにもかかわらず、自動化アプローチが有害な現実世界の誤報を現実的に否定できるかどうかは不明だ。
ここでは,nlpのファクトチェックとプロのファクトチェッカーによる偽情報対策の比較を行った。
本分析では,既存のnlpタスク定義を設計上,プロのファクトチェッカーが主張の大部分に対して行っているように,誤情報を反論できないことを示す。
次に、データセットの証拠が現実的な事実チェックのために満たさなければならない2つの要件を定義します。
既存のファクトチェックデータセットを調査し、それらのすべてが両方の基準を満たしていないことを確認する。
最後に、大規模なファクトチェックデータセットでトレーニングされたモデルがリークした証拠に依存していることを示す実験を行い、現実のシナリオでは不適切であることを示す。
そこで本研究では,現状のnlpファクトチェックでは,実世界の誤情報と現実的に対応できないことを示す。
関連論文リスト
- Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。
我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。
これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
論文 参考訳(メタデータ) (2022-05-14T00:40:57Z) - Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。
これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。
偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
論文 参考訳(メタデータ) (2022-02-18T19:01:01Z) - DialFact: A Benchmark for Fact-Checking in Dialogue [56.63709206232572]
われわれはDialFactという22,245の注釈付き会話クレームのベンチマークデータセットを構築し、ウィキペディアの証拠と組み合わせた。
FEVERのような非対話データでトレーニングされた既存のファクトチェックモデルは、我々のタスクでうまく機能しないことがわかった。
本稿では,対話におけるファクトチェック性能を効果的に向上する,シンプルなデータ効率のソリューションを提案する。
論文 参考訳(メタデータ) (2021-10-15T17:34:35Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳(メタデータ) (2021-07-05T17:31:44Z) - Automatic Fake News Detection: Are Models Learning to Reason? [9.143551270841858]
クレームと証拠の両方の関係と重要性を調査します。
驚くべきことに、政治的事実チェックデータセットでは、最も頻繁に最も有効性が高いことが証拠のみを利用して得られます。
これは、既存のフェイクニュース検出手法における証拠を構成する重要な問題である。
論文 参考訳(メタデータ) (2021-05-17T09:34:03Z) - The Role of Context in Detecting Previously Fact-Checked Claims [27.076320857009655]
我々は、文脈が本当に重要である政治的議論でなされた主張に焦点を当てている。
本稿では,事実確認説明書において,クレームのコンテキストをソース側とターゲット側の両方でモデル化することの影響について検討する。
論文 参考訳(メタデータ) (2021-04-15T12:39:37Z) - Explainable Automated Fact-Checking for Public Health Claims [11.529816799331979]
本稿では,特定の専門知識を必要とするクレームに対する説明可能なファクトチェックに関する最初の研究について述べる。
ケーススタディでは公衆衛生の設定を選択します。
正確性予測と説明生成という2つの課題を探求する。
論文 参考訳(メタデータ) (2020-10-19T23:51:33Z) - Misinformation Has High Perplexity [55.47422012881148]
疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。
まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。
第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
論文 参考訳(メタデータ) (2020-06-08T15:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。