論文の概要: Credible, Unreliable or Leaked?: Evidence Verification for Enhanced Automated Fact-checking

• arxiv url: http://arxiv.org/abs/2404.18971v1
• Date: Mon, 29 Apr 2024 13:47:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 18:29:43.331555
• Title: Credible, Unreliable or Leaked?: Evidence Verification for Enhanced Automated Fact-checking
• Title（参考訳）: 信頼性, 信頼性, 漏れの有無: 自動ファクトチェックのための証拠検証
• Authors: Zacharias Chrysidis, Stefanos-Iordanis Papadopoulos, Symeon Papadopoulos, Panagiotis C. Petrantonakis,
• Abstract要約: 『信頼性・信頼性・信頼性・漏れ』データセットは、Credible, Un Reliable, Fact Check (Leaked)に分類される91,632件からなる。 「証拠検証ネットワーク(EVVER-Net)は、短文・長文ともに漏洩・信頼性の低い証拠を検出するためにCREDULEで訓練した」 「EVVER-Netは91.5%と94.4%の精度で素晴らしい性能を誇示できる」
• 参考スコア（独自算出の注目度）: 11.891881050619457
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Automated fact-checking (AFC) is garnering increasing attention by researchers aiming to help fact-checkers combat the increasing spread of misinformation online. While many existing AFC methods incorporate external information from the Web to help examine the veracity of claims, they often overlook the importance of verifying the source and quality of collected "evidence". One overlooked challenge involves the reliance on "leaked evidence", information gathered directly from fact-checking websites and used to train AFC systems, resulting in an unrealistic setting for early misinformation detection. Similarly, the inclusion of information from unreliable sources can undermine the effectiveness of AFC systems. To address these challenges, we present a comprehensive approach to evidence verification and filtering. We create the "CREDible, Unreliable or LEaked" (CREDULE) dataset, which consists of 91,632 articles classified as Credible, Unreliable and Fact checked (Leaked). Additionally, we introduce the EVidence VERification Network (EVVER-Net), trained on CREDULE to detect leaked and unreliable evidence in both short and long texts. EVVER-Net can be used to filter evidence collected from the Web, thus enhancing the robustness of end-to-end AFC systems. We experiment with various language models and show that EVVER-Net can demonstrate impressive performance of up to 91.5% and 94.4% accuracy, while leveraging domain credibility scores along with short or long texts, respectively. Finally, we assess the evidence provided by widely-used fact-checking datasets including LIAR-PLUS, MOCHEG, FACTIFY, NewsCLIPpings+ and VERITE, some of which exhibit concerning rates of leaked and unreliable evidence.
• Abstract（参考訳）: AFC(Automated fact-checking)は、偽情報の拡散に対処するファクトチェックを支援する研究者によって注目を集めている。 既存のAFCメソッドの多くは、クレームの正確性を調べるためにWebからの外部情報を含んでいるが、収集された「証拠」のソースと品質を検証することの重要性を見落としていることが多い。 1つの見落とされがちな課題は、事実確認ウェブサイトから直接集められ、AFCシステムのトレーニングに使用される情報である「漏洩した証拠」への依存であり、初期の誤情報検出のための非現実的な設定である。 同様に、信頼できない情報源からの情報の取り込みは、AFCシステムの有効性を損なう可能性がある。 これらの課題に対処するために、証拠検証とフィルタリングに関する包括的なアプローチを提案する。 我々は、Credible, Un Reliable or LEaked (CREDULE)データセットを作成し、Credible, Un Reliable, Fact check (Leaked)に分類される91,632の項目からなる。 さらに、CREDULEでトレーニングされたEVVER-Net(EVidence VERification Network)を導入し、短文と長文の両方で漏れや信頼性の低い証拠を検出する。 EVVER-Netは、Webから収集したエビデンスをフィルタリングするために使用することができ、これにより、エンドツーエンドのAFCシステムの堅牢性を高めることができる。 我々は様々な言語モデルを用いて実験を行い、EVVER-Netが91.5%と94.4%の精度で優れた性能を誇示できることを示した。 最後に, LIAR-PLUS, MOCHEG, FACTIFY, NewsCLIPpings+, VERITEなど, 広く利用されている事実チェックデータセットから得られた証拠について検討した。

関連論文リスト

• VeraCT Scan: Retrieval-Augmented Fake News Detection with Justifiable Reasoning [13.711292329830169]
  本稿では,偽ニュース検出のための検索強化システムであるVeraCT Scanを紹介する。 このシステムは、あるニュースから中核的な事実を抽出し、その後、相関や矛盾する報告を特定するために、インターネット全体の検索を行う。 我々はまた、その結論を支持するための透明な証拠と推論を提供し、その結果の解釈可能性と信頼をもたらす。
  論文  参考訳（メタデータ） (2024-06-12T21:23:48Z)
• RU22Fact: Optimizing Evidence for Multilingual Explainable Fact-Checking on Russia-Ukraine Conflict [34.2739191920746]
  高品質な証拠は、ファクトチェックシステムを強化する上で重要な役割を担っている。 本稿では,Webから証拠を自動的に抽出・要約する大規模言語モデルを提案する。 RU22Factは、ロシアとウクライナの紛争に関する説明可能な事実チェックデータセットであり、16Kサンプルのうち2022年に構築された。
  論文  参考訳（メタデータ） (2024-03-25T11:56:29Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• Read it Twice: Towards Faithfully Interpretable Fact Verification by Revisiting Evidence [59.81749318292707]
  本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。 提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
  論文  参考訳（メタデータ） (2023-05-02T03:23:14Z)
• Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for Misinformation [67.69725605939315]
  誤報は、信頼できる情報が限られている不確実な時に現れる。 NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
  論文  参考訳（メタデータ） (2022-10-25T09:40:48Z)
• CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
  CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。 このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
  論文  参考訳（メタデータ） (2022-06-06T09:11:03Z)
• Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
  本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。 これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。 偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
  論文  参考訳（メタデータ） (2022-02-18T19:01:01Z)
• FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
  実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。 我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
  論文  参考訳（メタデータ） (2021-07-05T17:31:44Z)
• Get Your Vitamin C! Robust Fact Verification with Contrastive Evidence [32.63174559281556]
  ビタミンCは、わずかな事実の変化を識別し、調整するために事実検証モデルを必要とする困難なケースに注入されたベンチマークです。 私たちは、根底にある事実を変更する100,000以上のWikipediaリビジョンを収集し、これらのリビジョンを活用して40,000以上のクレーム証拠ペアを作成します。 この設計を用いたトレーニングは堅牢性を高め、対人的事実検証の精度を10%向上し、対人的自然言語推論の6%向上を示した。
  論文  参考訳（メタデータ） (2021-03-15T17:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。