論文の概要: Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against Fact-Verification Systems

• arxiv url: http://arxiv.org/abs/2209.03755v1
• Date: Wed, 7 Sep 2022 13:39:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-09 12:42:57.585864
• Title: Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against Fact-Verification Systems
• Title（参考訳）: fact-saboteurs: 事実検証システムに対する証拠操作の分類法
• Authors: Sahar Abdelnabi and Mario Fritz
• Abstract要約: 実行可能な解決策は、関連する証拠を検索して検証することで、クレームの事実チェックを自動化することである。 本研究では,事実確認モデルを破壊するために,オンライン証拠を自動的に改ざんする相手を仮定する。 また, 証拠中のクレーム・サレントなスニペットを微調整し, 多様なクレーム・アラインな証拠を生成できることが示唆された。
• 参考スコア（独自算出の注目度）: 80.3811072650087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mis- and disinformation are now a substantial global threat to our security and safety. To cope with the scale of online misinformation, one viable solution is to automate the fact-checking of claims by retrieving and verifying against relevant evidence. While major recent advances have been achieved in pushing forward the automatic fact-verification, a comprehensive evaluation of the possible attack vectors against such systems is still lacking. Particularly, the automated fact-verification process might be vulnerable to the exact disinformation campaigns it is trying to combat. In this work, we assume an adversary that automatically tampers with the online evidence in order to disrupt the fact-checking model via camouflaging the relevant evidence, or planting a misleading one. We first propose an exploratory taxonomy that spans these two targets and the different threat model dimensions. Guided by this, we design and propose several potential attack methods. We show that it is possible to subtly modify claim-salient snippets in the evidence, in addition to generating diverse and claim-aligned evidence. As a result, we highly degrade the fact-checking performance under many different permutations of the taxonomy's dimensions. The attacks are also robust against post-hoc modifications of the claim. Our analysis further hints at potential limitations in models' inference when faced with contradicting evidence. We emphasize that these attacks can have harmful implications on the inspectable and human-in-the-loop usage scenarios of such models, and we conclude by discussing challenges and directions for future defenses.
• Abstract（参考訳）: 誤報と偽報は、今や我々の安全と安全に対する重大な世界的脅威だ。 オンライン誤報の規模に対処するためには、関連する証拠を検索して検証することで、クレームの事実チェックを自動化する方法がある。 自動事実検証の推進において近年の大きな進歩が達成されているが、このようなシステムに対する攻撃ベクトルの包括的評価はいまだに不十分である。 特に、自動事実検証プロセスは、彼らが戦おうとしている正確な偽情報キャンペーンに弱い可能性がある。 本研究では,関連する証拠を偽造したり,誤解を招く証拠を植え付けることによって事実確認モデルを妨害するために,オンライン証拠を自動的に改ざんする敵を仮定する。 まず,これら2つの目標と異なる脅威モデル次元にまたがる探索的分類法を提案する。 これを踏まえ,いくつかの攻撃手法を設計,提案する。 また, 証拠中のクレーム・サレントなスニペットを微調整し, 多様なクレーム・アラインな証拠を生成できることが示唆された。 その結果,分類学の次元の多くの異なる順に,事実確認性能を高度に低下させた。 攻撃は、ポストホックなクレームの修正に対しても堅牢である。 我々の分析は、矛盾する証拠に直面したモデル推論の潜在的な限界をさらに示唆している。 我々は,これらの攻撃が,そのようなモデルの検査およびループ内利用シナリオに有害な影響を及ぼす可能性があることを強調し,今後の防衛の課題と方向性について議論して結論づける。

関連論文リスト

• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)
• Btech thesis report on adversarial attack detection and purification of adverserially attacked images [0.0]
  本論文は, 負の攻撃を受けた画像の検出と浄化に関するものである。 ディープラーニングモデルは、分類、回帰などの様々なタスクのための特定のトレーニング例に基づいて訓練される。
  論文  参考訳（メタデータ） (2022-05-09T09:24:11Z)
• Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
  本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。 これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。 偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
  論文  参考訳（メタデータ） (2022-02-18T19:01:01Z)
• Adversarial Attacks for Tabular Data: Application to Fraud Detection and Imbalanced Data [3.2458203725405976]
  逆の攻撃は、逆の例、つまり、AIシステムが間違った出力を返すように誘導するわずかに変更された入力を生成することを目的としています。 本稿では,不正検出の文脈において,最先端アルゴリズムを不均衡データに適用する新しい手法を提案する。 実験の結果,提案する修正が攻撃成功率に繋がることがわかった。 実世界の生産システムに適用した場合,提案手法は,高度なaiに基づく不正検出手法の堅牢性に重大な脅威を与える可能性を示す。
  論文  参考訳（メタデータ） (2021-01-20T08:58:29Z)
• An Empirical Review of Adversarial Defenses [0.913755431537592]
  このようなシステムの基礎を形成するディープニューラルネットワークは、敵対攻撃と呼ばれる特定のタイプの攻撃に非常に影響を受けやすい。 ハッカーは、最小限の計算でも、敵対的な例(他のクラスに属するイメージやデータポイント)を生成し、そのようなアルゴリズムの基礎を崩壊させることができます。 本稿では,DropoutとDenoising Autoencodersの2つの効果的な手法を示し,そのような攻撃がモデルを騙すのを防ぐことに成功したことを示す。
  論文  参考訳（メタデータ） (2020-12-10T09:34:41Z)
• DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
  ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。 文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。 その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T15:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。