論文の概要: Synthetic Disinformation Attacks on Automated Fact Verification Systems

• arxiv url: http://arxiv.org/abs/2202.09381v1
• Date: Fri, 18 Feb 2022 19:01:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-26 20:44:06.999024
• Title: Synthetic Disinformation Attacks on Automated Fact Verification Systems
• Title（参考訳）: 自動ファクト検証システムにおける合成偽情報攻撃
• Authors: Yibing Du, Antoine Bosselut, Christopher D. Manning
• Abstract要約: 本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。 これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。 偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
• 参考スコア（独自算出の注目度）: 53.011635547834025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated fact-checking is a needed technology to curtail the spread of online misinformation. One current framework for such solutions proposes to verify claims by retrieving supporting or refuting evidence from related textual sources. However, the realistic use cases for fact-checkers will require verifying claims against evidence sources that could be affected by the same misinformation. Furthermore, the development of modern NLP tools that can produce coherent, fabricated content would allow malicious actors to systematically generate adversarial disinformation for fact-checkers. In this work, we explore the sensitivity of automated fact-checkers to synthetic adversarial evidence in two simulated settings: AdversarialAddition, where we fabricate documents and add them to the evidence repository available to the fact-checking system, and AdversarialModification, where existing evidence source documents in the repository are automatically altered. Our study across multiple models on three benchmarks demonstrates that these systems suffer significant performance drops against these attacks. Finally, we discuss the growing threat of modern NLG systems as generators of disinformation in the context of the challenges they pose to automated fact-checkers.
• Abstract（参考訳）: 自動事実チェックは、オンライン誤報の拡散を緩和するために必要な技術である。 このようなソリューションのための現在のフレームワークの1つは、関連するテキストソースから証拠を支持または否定することでクレームを検証することを提案する。 しかし、ファクトチェックの現実的なユースケースは、同じ誤報によって影響を受ける可能性のある証拠ソースに対するクレームを検証する必要がある。 さらに、コヒーレントで製造されたコンテンツを生成できる現代のNLPツールの開発により、悪意あるアクターがファクトチェッカーの敵対的偽情報を体系的に生成できるようになる。 本研究は,ファクトチェックシステムで利用可能なエビデンスリポジトリに文書を作成し,それを付加するadversarialadditionと,既存のエビデンスソースドキュメントを自動的に変更するadversarialmodificationという,2つのシミュレートされた設定で,ファクトチェックの自動生成ファクトチェックの感度について検討する。 3つのベンチマークで複数のモデルにまたがる研究は、これらのシステムがこれらの攻撃に対して著しいパフォーマンス低下を被っていることを示している。 最後に, 自動ファクトチェッカーに直面する課題の文脈において, 偽情報の発生源として, 現代のNLGシステムの脅威が高まっていることを論じる。

関連論文リスト

• Credible, Unreliable or Leaked?: Evidence Verification for Enhanced Automated Fact-checking [11.891881050619457]
  『信頼性・信頼性・信頼性・漏れ』データセットは、Credible, Un Reliable, Fact Check (Leaked)に分類される91,632件からなる。 「証拠検証ネットワーク(EVVER-Net)は、短文・長文ともに漏洩・信頼性の低い証拠を検出するためにCREDULEで訓練した」 「EVVER-Netは91.5%と94.4%の精度で素晴らしい性能を誇示できる」
  論文  参考訳（メタデータ） (2024-04-29T13:47:04Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against Fact-Verification Systems [80.3811072650087]
  証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。 この攻撃は、主張のポストホックな修正に対しても堅牢である。 これらの攻撃は、インスペクタブルとヒューマン・イン・ザ・ループの使用シナリオに有害な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-09-07T13:39:24Z)
• Attacking Open-domain Question Answering by Injecting Misinformation [116.25434773461465]
  質問応答モデル(QA)に対する誤報のリスクについて,オープンドメインQAモデルの誤報文書に対する感度について検討した。 実験により、QAモデルは誤情報による少量の証拠汚染に対して脆弱であることが示されている。 質問応答と誤情報検出を統合した誤情報認識型QAシステムの構築の必要性について論じる。
  論文  参考訳（メタデータ） (2021-10-15T01:55:18Z)
• A Survey on Automated Fact-Checking [18.255327608480165]
  本稿では,自然言語処理によるファクトチェックの自動化について検討し,関連する課題や規律との関係について考察する。 既存のデータセットとモデルを概観し、与えられた様々な定義を統一し、共通の概念を識別することを目的としている。
  論文  参考訳（メタデータ） (2021-08-26T16:34:51Z)
• DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
  ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。 文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。 その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T15:18:49Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。