論文の概要: Dual-Key Multimodal Backdoors for Visual Question Answering

• arxiv url: http://arxiv.org/abs/2112.07668v1
• Date: Tue, 14 Dec 2021 18:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 15:14:26.969523
• Title: Dual-Key Multimodal Backdoors for Visual Question Answering
• Title（参考訳）: 視覚質問応答のためのデュアルキーマルチモーダルバックドア
• Authors: Matthew Walmer, Karan Sikka, Indranil Sur, Abhinav Shrivastava, Susmit Jha
• Abstract要約: マルチモーダルネットワークは、Dual-Key Multimodal Backdoorsと呼ばれる新しいタイプの攻撃に対して脆弱であることを示す。 この攻撃は、最先端のネットワークが使用する複雑な融合機構を利用して、効果的でステルス的なバックドアを埋め込む。 本稿では,視覚的質問応答(VQA)タスクにおけるマルチモーダルバックドアについて,複数のアーキテクチャと視覚的特徴バックボーンを用いた広範な検討を行う。
• 参考スコア（独自算出の注目度）: 26.988750557552983
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The success of deep learning has enabled advances in multimodal tasks that require non-trivial fusion of multiple input domains. Although multimodal models have shown potential in many problems, their increased complexity makes them more vulnerable to attacks. A Backdoor (or Trojan) attack is a class of security vulnerability wherein an attacker embeds a malicious secret behavior into a network (e.g. targeted misclassification) that is activated when an attacker-specified trigger is added to an input. In this work, we show that multimodal networks are vulnerable to a novel type of attack that we refer to as Dual-Key Multimodal Backdoors. This attack exploits the complex fusion mechanisms used by state-of-the-art networks to embed backdoors that are both effective and stealthy. Instead of using a single trigger, the proposed attack embeds a trigger in each of the input modalities and activates the malicious behavior only when both the triggers are present. We present an extensive study of multimodal backdoors on the Visual Question Answering (VQA) task with multiple architectures and visual feature backbones. A major challenge in embedding backdoors in VQA models is that most models use visual features extracted from a fixed pretrained object detector. This is challenging for the attacker as the detector can distort or ignore the visual trigger entirely, which leads to models where backdoors are over-reliant on the language trigger. We tackle this problem by proposing a visual trigger optimization strategy designed for pretrained object detectors. Through this method, we create Dual-Key Backdoors with over a 98% attack success rate while only poisoning 1% of the training data. Finally, we release TrojVQA, a large collection of clean and trojan VQA models to enable research in defending against multimodal backdoors.
• Abstract（参考訳）: ディープラーニングの成功は、複数の入力ドメインの非自明な融合を必要とするマルチモーダルタスクの進歩を可能にした。 マルチモーダルモデルは多くの問題に潜在性を示しているが、複雑さが増すと攻撃に対してより脆弱になる。 Backdoor(またはTrojan)攻撃は、攻撃者が悪意のある秘密の動作をネットワーク(例えばターゲットの誤分類)に埋め込むセキュリティ脆弱性の一種で、攻撃者が特定したトリガーが入力に追加されると起動される。 本研究では,マルチモーダルネットワークが,Dual-Key Multimodal Backdoorsと呼ばれる新しいタイプの攻撃に対して脆弱であることを示す。 この攻撃は、最先端のネットワークが使用する複雑な融合機構を利用して、効果的でステルス的なバックドアを埋め込む。 単一のトリガーを使用する代わりに、提案された攻撃は入力の各モダリティにトリガーを埋め込み、両方のトリガーが存在する場合にのみ悪意のある動作を起動する。 本稿では,複数のアーキテクチャと視覚機能バックボーンを備えた視覚質問応答(vqa)タスクにおけるマルチモーダルバックドアに関する詳細な研究を行う。 VQAモデルにバックドアを埋め込む際の大きな課題は、ほとんどのモデルが固定された事前訓練対象検出器から抽出された視覚的特徴を使用することである。 これは、検出器が視覚トリガーを完全に歪めたり無視したりできるため、攻撃者にとって困難であり、バックドアが言語トリガーに過度に依存しているモデルにつながる。 我々は、事前訓練対象検出器用に設計された視覚的トリガー最適化戦略を提案する。 この方法では,攻撃成功率98%以上のデュアルキーバックドアを作成し,トレーニングデータの1%を毒殺する。 最後に,クリーンかつトロイの木馬VQAモデルの大規模なコレクションであるTrojVQAをリリースし,マルチモーダルバックドアに対する防御の研究を可能にする。

関連論文リスト

• Not All Prompts Are Secure: A Switchable Backdoor Attack Against Pre-trained Vision Transformers [51.0477382050976]
  この作業でスイッチトークンと呼ばれる追加のプロンプトトークンは、バックドアモードをオンにすることができ、良心的なモデルをバックドアモードに変換することができる。 事前訓練されたモデルを攻撃するため、SWARMと呼ばれる攻撃はトリガを学習し、スイッチトークンを含むトークンをプロンプトする。 多様な視覚認識タスクの実験は、切り替え可能なバックドア攻撃の成功を確認し、95%以上の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-05-17T08:19:48Z)
• Dual Model Replacement:invisible Multi-target Backdoor Attack based on Federal Learning [21.600003684064706]
  本稿では,フェデレート学習に基づくバックドア攻撃手法を設計する。 バックドアトリガの隠蔽を目的としたエンコーダデコーダ構造を備えたトロイジャンガンステガノグラフィーモデルが設計されている。 フェデレート学習に基づく二重モデル置換バックドア攻撃アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-04-22T07:44:02Z)
• LOTUS: Evasive and Resilient Backdoor Attacks through Sub-Partitioning [49.174341192722615]
  バックドア攻撃は、ディープラーニングアプリケーションに重大なセキュリティ脅威をもたらす。 近年の研究では、特殊な変換機能によって作られたサンプル特異的に見えないトリガーを用いた攻撃が導入されている。 我々は、回避性とレジリエンスの両方に対処するために、新しいバックドアアタックLOTUSを導入する。
  論文  参考訳（メタデータ） (2024-03-25T21:01:29Z)
• Shortcuts Everywhere and Nowhere: Exploring Multi-Trigger Backdoor Attacks [26.600846339400956]
  ディープニューラルネットワーク(DNN)の事前トレーニングとデプロイに対して、バックドア攻撃は重大な脅威となっている。 本研究では,マルチトリガーバックドア攻撃(MTBA)の概念について検討し,複数の敵が異なる種類のトリガーを利用して同一のデータセットを毒する。 textitparallel, textitsequential, textithybrid 攻撃を含む3種類のマルチトリガー攻撃を提案し, 調査することにより, 1) 複数のトリガが共存し, オーバーライトし, 相互に作用し, 2) MTBAが容易に破壊できることが実証された。
  論文  参考訳（メタデータ） (2024-01-27T04:49:37Z)
• From Shortcuts to Triggers: Backdoor Defense with Denoised PoE [51.287157951953226]
  言語モデルは、しばしば多様なバックドア攻撃、特にデータ中毒の危険にさらされる。 既存のバックドア防御手法は主に明示的なトリガーによるバックドア攻撃に焦点を当てている。 我々は,様々なバックドア攻撃を防御するために,エンド・ツー・エンドアンサンブルに基づくバックドア防御フレームワークDPoEを提案する。
  論文  参考訳（メタデータ） (2023-05-24T08:59:25Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• Look, Listen, and Attack: Backdoor Attacks Against Video Action Recognition [53.720010650445516]
  有毒ラベル画像のバックドア攻撃は静的かつ動的に2つの時間的拡張が可能であることを示す。 さらに、ビデオ領域におけるこの脆弱性の深刻さを強調するために、自然なビデオバックドアを探索する。 また,ビデオ行動認識モデルに対するマルチモーダル(オービジュアル)バックドアアタックを初めて検討した。
  論文  参考訳（メタデータ） (2023-01-03T07:40:28Z)
• Check Your Other Door! Establishing Backdoor Attacks in the Frequency Domain [80.24811082454367]
  検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。 また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
  論文  参考訳（メタデータ） (2021-09-12T12:44:52Z)
• Input-Aware Dynamic Backdoor Attack [9.945411554349276]
  近年、ニューラルネットワークのバックドア攻撃は、ディープラーニングシステムに対する潜在的なセキュリティ脅威と考えられている。 現在のバックドア技術は、現在の防御方法によって容易に検出され緩和される一様トリガーパターンに依存している。 本稿では,入力から入力までのトリガーが異なる新しいバックドア攻撃手法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T03:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。