論文の概要: Prompt Backdoors in Visual Prompt Learning

• arxiv url: http://arxiv.org/abs/2310.07632v1
• Date: Wed, 11 Oct 2023 16:25:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 21:51:16.226461
• Title: Prompt Backdoors in Visual Prompt Learning
• Title（参考訳）: ビジュアルプロンプト学習におけるプロンプトバックドア
• Authors: Hai Huang, Zhengyu Zhao, Michael Backes, Yun Shen, Yang Zhang
• Abstract要約: 本稿では,VPLに対するシンプルなバックドア攻撃であるBadVisualPromptを提案する。 バックドアトリガーと視覚的プロンプトの相互作用に関連する新しい技術的課題を特定し,対処する。
• 参考スコア（独自算出の注目度）: 35.90535387625355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large pre-trained computer vision models is infeasible for resource-limited users. Visual prompt learning (VPL) has thus emerged to provide an efficient and flexible alternative to model fine-tuning through Visual Prompt as a Service (VPPTaaS). Specifically, the VPPTaaS provider optimizes a visual prompt given downstream data, and downstream users can use this prompt together with the large pre-trained model for prediction. However, this new learning paradigm may also pose security risks when the VPPTaaS provider instead provides a malicious visual prompt. In this paper, we take the first step to explore such risks through the lens of backdoor attacks. Specifically, we propose BadVisualPrompt, a simple yet effective backdoor attack against VPL. For example, poisoning $5\%$ CIFAR10 training data leads to above $99\%$ attack success rates with only negligible model accuracy drop by $1.5\%$. In particular, we identify and then address a new technical challenge related to interactions between the backdoor trigger and visual prompt, which does not exist in conventional, model-level backdoors. Moreover, we provide in-depth analyses of seven backdoor defenses from model, prompt, and input levels. Overall, all these defenses are either ineffective or impractical to mitigate our BadVisualPrompt, implying the critical vulnerability of VPL.
• Abstract（参考訳）: 訓練済みの大規模コンピュータビジョンモデルは、リソース制限されたユーザにとって実現不可能である。 これにより、ビジュアルプロンプト学習(VPL)は、Visual Prompt as a Service(VPPTaaS)を通じて微調整をモデル化する、効率的で柔軟な代替手段を提供する。 特に、vpptaasプロバイダは、下流データに与えられた視覚的なプロンプトを最適化し、下流のユーザは、このプロンプトを、大きな事前学習されたモデルとともに、予測に使用できる。 しかし、この新しい学習パラダイムは、VPPTaaSプロバイダが悪意のある視覚的プロンプトを提供する場合、セキュリティ上のリスクを引き起こす可能性がある。 本稿では,バックドア攻撃のレンズを通してリスクを探求する第一歩を踏み出す。 具体的には,VPLに対する単純なバックドア攻撃であるBadVisualPromptを提案する。 例えば、$5\%$ cifar10のトレーニングデータを毒すると、$99\%$のアタック成功率を上回り、モデルの正確性は$1.5\%低下する。 特に,従来のモデルレベルのバックドアには存在しない,バックドアトリガーと視覚的プロンプトの相互作用に関連する新たな技術的課題を特定し,対処する。 さらに、モデル、プロンプト、入力レベルから7つのバックドア防御を詳細に分析する。 全体として、これらの防御はすべて、BadVisualPromptを緩和する非効率または非実用的であり、VPLの重大な脆弱性を暗示している。

関連論文リスト

• Expose Before You Defend: Unifying and Enhancing Backdoor Defenses via Exposed Models [68.40324627475499]
  本稿では,Expose Before You Defendという新しい2段階防衛フレームワークを紹介する。 EBYDは既存のバックドア防御手法を総合防衛システムに統合し、性能を向上する。 2つの視覚データセットと4つの言語データセットにまたがる10のイメージアタックと6つのテキストアタックに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-10-25T09:36:04Z)
• Not All Prompts Are Secure: A Switchable Backdoor Attack Against Pre-trained Vision Transformers [51.0477382050976]
  この作業でスイッチトークンと呼ばれる追加のプロンプトトークンは、バックドアモードをオンにすることができ、良心的なモデルをバックドアモードに変換することができる。 事前訓練されたモデルを攻撃するため、SWARMと呼ばれる攻撃はトリガを学習し、スイッチトークンを含むトークンをプロンプトする。 多様な視覚認識タスクの実験は、切り替え可能なバックドア攻撃の成功を確認し、95%以上の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-05-17T08:19:48Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• BadPrompt: Backdoor Attacks on Continuous Prompts [16.780478840918995]
  本研究は,バックドア攻撃に対する連続的プロンプト学習アルゴリズムの脆弱性に関する最初の研究である。 本稿では,バックドア攻撃に対するタスク適応アルゴリズムであるBadPromptを提案する。 我々は、5つのデータセットと2つの連続的プロンプトモデル上でのBadPromptの性能を評価する。
  論文  参考訳（メタデータ） (2022-11-27T04:23:18Z)
• Few-Shot Backdoor Attacks on Visual Object Tracking [80.13936562708426]
  視覚オブジェクト追跡(VOT)は、自律運転やインテリジェント監視システムなど、ミッションクリティカルなアプリケーションで広く採用されている。 学習過程の調整により,隠れたバックドアをVOTモデルに容易に埋め込むことができることを示す。 我々の攻撃は潜在的な防御に耐性があることを示し、潜在的なバックドア攻撃に対するVOTモデルの脆弱性を強調します。
  論文  参考訳（メタデータ） (2022-01-31T12:38:58Z)
• Reflection Backdoor: A Natural Backdoor Attack on Deep Neural Networks [46.99548490594115]
  バックドア攻撃は、バックドアパターンをトレーニングデータのごく一部に注入することにより、バックドアを被害者モデルにインストールする。 被害者モデルにバックドアとして反射を植え付けるための反射バックドア(Refool)を提案する。 Refoolは最先端のDNNを高い成功率で攻撃することができる。
  論文  参考訳（メタデータ） (2020-07-05T13:56:48Z)
• Blind Backdoors in Deep Learning Models [22.844973592524966]
  本稿では,機械学習モデルにバックドアを注入する新しい手法について検討する。 従来の文献よりも厳格に強力なバックドアの新たなクラスを実証するために使用しています。 攻撃者はトレーニングデータを変更したり、コードの実行を観察したり、結果のモデルにアクセスしたりすることができません。
  論文  参考訳（メタデータ） (2020-05-08T02:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。