論文の概要: Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against
Fact-Verification Systems
- arxiv url: http://arxiv.org/abs/2209.03755v3
- Date: Tue, 14 Feb 2023 11:03:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 11:01:52.462232
- Title: Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against
Fact-Verification Systems
- Title（参考訳）: fact-saboteurs: 事実検証システムに対する証拠操作の分類法
- Authors: Sahar Abdelnabi and Mario Fritz
- Abstract要約: 誤報と偽報は、我々の安全と安全に対する重大な世界的な脅威だ。
この2つの目標と異なる脅威モデル次元にまたがる探索的分類法を提案する。
証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。
- 参考スコア（独自算出の注目度）: 80.3811072650087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mis- and disinformation are a substantial global threat to our security and
safety. To cope with the scale of online misinformation, researchers have been
working on automating fact-checking by retrieving and verifying against
relevant evidence. However, despite many advances, a comprehensive evaluation
of the possible attack vectors against such systems is still lacking.
Particularly, the automated fact-verification process might be vulnerable to
the exact disinformation campaigns it is trying to combat. In this work, we
assume an adversary that automatically tampers with the online evidence in
order to disrupt the fact-checking model via camouflaging the relevant evidence
or planting a misleading one. We first propose an exploratory taxonomy that
spans these two targets and the different threat model dimensions. Guided by
this, we design and propose several potential attack methods. We show that it
is possible to subtly modify claim-salient snippets in the evidence and
generate diverse and claim-aligned evidence. Thus, we highly degrade the
fact-checking performance under many different permutations of the taxonomy's
dimensions. The attacks are also robust against post-hoc modifications of the
claim. Our analysis further hints at potential limitations in models' inference
when faced with contradicting evidence. We emphasize that these attacks can
have harmful implications on the inspectable and human-in-the-loop usage
scenarios of such models, and conclude by discussing challenges and directions
for future defenses.
- Abstract（参考訳）: 誤報と誤報は、我々の安全と安全にとって重大な世界的脅威である。
オンラインの誤情報の規模に対処するために、研究者は関連する証拠を検索し検証することで事実チェックの自動化に取り組んでいる。
しかし、多くの進歩にもかかわらず、そのようなシステムに対する攻撃ベクトルの包括的評価はまだ不十分である。
特に、自動事実検証プロセスは、彼らが戦おうとしている正確な偽情報キャンペーンに弱い可能性がある。
本研究では,オンライン証拠を自動的に改ざんし,関連する証拠をカモフラージュしたり,誤解を招く証拠を植え付けることによって事実確認モデルを混乱させる敵を想定する。
まず,これら2つの目標と異なる脅威モデル次元にまたがる探索的分類法を提案する。
これを踏まえ,いくつかの攻撃手法を設計,提案する。
証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。
したがって, 分類学の次元の多種多様な順列において, 事実チェック性能を格段に低下させる。
攻撃は、ポストホックなクレームの修正に対しても堅牢である。
我々の分析は、矛盾する証拠に直面したモデル推論の潜在的な限界をさらに示唆している。
我々は,これらの攻撃が,そのようなモデルの検査およびループ内利用シナリオに有害な影響を及ぼしうることを強調し,今後の防衛の課題と方向性について議論することで結論づける。
関連論文リスト
- Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。
暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。
我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
論文 参考訳（メタデータ） (2023-06-06T14:45:24Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳（メタデータ） (2023-06-06T11:44:42Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳（メタデータ） (2022-11-02T17:05:45Z) - Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。
既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。
以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
論文 参考訳（メタデータ） (2022-07-20T19:49:09Z) - Btech thesis report on adversarial attack detection and purification of
adverserially attacked images [0.0]
本論文は, 負の攻撃を受けた画像の検出と浄化に関するものである。
ディープラーニングモデルは、分類、回帰などの様々なタスクのための特定のトレーニング例に基づいて訓練される。
論文 参考訳（メタデータ） (2022-05-09T09:24:11Z) - Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。
これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。
偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
論文 参考訳（メタデータ） (2022-02-18T19:01:01Z) - Adversarial Attacks for Tabular Data: Application to Fraud Detection and
Imbalanced Data [3.2458203725405976]
逆の攻撃は、逆の例、つまり、AIシステムが間違った出力を返すように誘導するわずかに変更された入力を生成することを目的としています。
本稿では,不正検出の文脈において,最先端アルゴリズムを不均衡データに適用する新しい手法を提案する。
実験の結果,提案する修正が攻撃成功率に繋がることがわかった。
実世界の生産システムに適用した場合,提案手法は,高度なaiに基づく不正検出手法の堅牢性に重大な脅威を与える可能性を示す。
論文 参考訳（メタデータ） (2021-01-20T08:58:29Z) - An Empirical Review of Adversarial Defenses [0.913755431537592]
このようなシステムの基礎を形成するディープニューラルネットワークは、敵対攻撃と呼ばれる特定のタイプの攻撃に非常に影響を受けやすい。
ハッカーは、最小限の計算でも、敵対的な例(他のクラスに属するイメージやデータポイント)を生成し、そのようなアルゴリズムの基礎を崩壊させることができます。
本稿では,DropoutとDenoising Autoencodersの2つの効果的な手法を示し,そのような攻撃がモデルを騙すのを防ぐことに成功したことを示す。
論文 参考訳（メタデータ） (2020-12-10T09:34:41Z) - DeSePtion: Dual Sequence Prediction and Adversarial Examples for
Improved Fact-Checking [46.13738685855884]
ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。
文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。
その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (2020-04-27T15:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。