論文の概要: Prompt Backdoors in Visual Prompt Learning
- arxiv url: http://arxiv.org/abs/2310.07632v1
- Date: Wed, 11 Oct 2023 16:25:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 21:51:16.226461
- Title: Prompt Backdoors in Visual Prompt Learning
- Title(参考訳): ビジュアルプロンプト学習におけるプロンプトバックドア
- Authors: Hai Huang, Zhengyu Zhao, Michael Backes, Yun Shen, Yang Zhang
- Abstract要約: 本稿では,VPLに対するシンプルなバックドア攻撃であるBadVisualPromptを提案する。
バックドアトリガーと視覚的プロンプトの相互作用に関連する新しい技術的課題を特定し,対処する。
- 参考スコア(独自算出の注目度): 35.90535387625355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning large pre-trained computer vision models is infeasible for
resource-limited users. Visual prompt learning (VPL) has thus emerged to
provide an efficient and flexible alternative to model fine-tuning through
Visual Prompt as a Service (VPPTaaS). Specifically, the VPPTaaS provider
optimizes a visual prompt given downstream data, and downstream users can use
this prompt together with the large pre-trained model for prediction. However,
this new learning paradigm may also pose security risks when the VPPTaaS
provider instead provides a malicious visual prompt. In this paper, we take the
first step to explore such risks through the lens of backdoor attacks.
Specifically, we propose BadVisualPrompt, a simple yet effective backdoor
attack against VPL. For example, poisoning $5\%$ CIFAR10 training data leads to
above $99\%$ attack success rates with only negligible model accuracy drop by
$1.5\%$. In particular, we identify and then address a new technical challenge
related to interactions between the backdoor trigger and visual prompt, which
does not exist in conventional, model-level backdoors. Moreover, we provide
in-depth analyses of seven backdoor defenses from model, prompt, and input
levels. Overall, all these defenses are either ineffective or impractical to
mitigate our BadVisualPrompt, implying the critical vulnerability of VPL.
- Abstract(参考訳): 訓練済みの大規模コンピュータビジョンモデルは、リソース制限されたユーザにとって実現不可能である。
これにより、ビジュアルプロンプト学習(VPL)は、Visual Prompt as a Service(VPPTaaS)を通じて微調整をモデル化する、効率的で柔軟な代替手段を提供する。
特に、vpptaasプロバイダは、下流データに与えられた視覚的なプロンプトを最適化し、下流のユーザは、このプロンプトを、大きな事前学習されたモデルとともに、予測に使用できる。
しかし、この新しい学習パラダイムは、VPPTaaSプロバイダが悪意のある視覚的プロンプトを提供する場合、セキュリティ上のリスクを引き起こす可能性がある。
本稿では,バックドア攻撃のレンズを通してリスクを探求する第一歩を踏み出す。
具体的には,VPLに対する単純なバックドア攻撃であるBadVisualPromptを提案する。
例えば、$5\%$ cifar10のトレーニングデータを毒すると、$99\%$のアタック成功率を上回り、モデルの正確性は$1.5\%低下する。
特に,従来のモデルレベルのバックドアには存在しない,バックドアトリガーと視覚的プロンプトの相互作用に関連する新たな技術的課題を特定し,対処する。
さらに、モデル、プロンプト、入力レベルから7つのバックドア防御を詳細に分析する。
全体として、これらの防御はすべて、BadVisualPromptを緩和する非効率または非実用的であり、VPLの重大な脆弱性を暗示している。
関連論文リスト
- Are You Copying My Prompt? Protecting the Copyright of Vision Prompt for VPaaS via Watermark [4.071771108540602]
Visual Prompt Learning (VPL) は、事前訓練されたモデルパラメータの更新を避けることで、リソース消費を大幅に削減する従来の微調整方法とは異なる。
Visual Prompts as a Service (V)の開発者が登場した。
これらの開発者は、認可された顧客に巧妙なプロンプトを提供することで利益を得る。
しかし、大きな欠点はプロンプトのコピーと再配布が簡単であり、V開発者の知的財産権を脅かすことである。
論文 参考訳(メタデータ) (2024-05-24T02:31:03Z) - Not All Prompts Are Secure: A Switchable Backdoor Attack Against Pre-trained Vision Transformers [51.0477382050976]
この作業でスイッチトークンと呼ばれる追加のプロンプトトークンは、バックドアモードをオンにすることができ、良心的なモデルをバックドアモードに変換することができる。
事前訓練されたモデルを攻撃するため、SWARMと呼ばれる攻撃はトリガを学習し、スイッチトークンを含むトークンをプロンプトする。
多様な視覚認識タスクの実験は、切り替え可能なバックドア攻撃の成功を確認し、95%以上の攻撃成功率を達成した。
論文 参考訳(メタデータ) (2024-05-17T08:19:48Z) - BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳(メタデータ) (2023-11-20T02:21:49Z) - Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳(メタデータ) (2023-05-11T10:05:57Z) - BadPrompt: Backdoor Attacks on Continuous Prompts [16.780478840918995]
本研究は,バックドア攻撃に対する連続的プロンプト学習アルゴリズムの脆弱性に関する最初の研究である。
本稿では,バックドア攻撃に対するタスク適応アルゴリズムであるBadPromptを提案する。
我々は、5つのデータセットと2つの連続的プロンプトモデル上でのBadPromptの性能を評価する。
論文 参考訳(メタデータ) (2022-11-27T04:23:18Z) - Few-Shot Backdoor Attacks on Visual Object Tracking [80.13936562708426]
視覚オブジェクト追跡(VOT)は、自律運転やインテリジェント監視システムなど、ミッションクリティカルなアプリケーションで広く採用されている。
学習過程の調整により,隠れたバックドアをVOTモデルに容易に埋め込むことができることを示す。
我々の攻撃は潜在的な防御に耐性があることを示し、潜在的なバックドア攻撃に対するVOTモデルの脆弱性を強調します。
論文 参考訳(メタデータ) (2022-01-31T12:38:58Z) - Check Your Other Door! Establishing Backdoor Attacks in the Frequency
Domain [80.24811082454367]
検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。
また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
論文 参考訳(メタデータ) (2021-09-12T12:44:52Z) - Reflection Backdoor: A Natural Backdoor Attack on Deep Neural Networks [46.99548490594115]
バックドア攻撃は、バックドアパターンをトレーニングデータのごく一部に注入することにより、バックドアを被害者モデルにインストールする。
被害者モデルにバックドアとして反射を植え付けるための反射バックドア(Refool)を提案する。
Refoolは最先端のDNNを高い成功率で攻撃することができる。
論文 参考訳(メタデータ) (2020-07-05T13:56:48Z) - Blind Backdoors in Deep Learning Models [22.844973592524966]
本稿では,機械学習モデルにバックドアを注入する新しい手法について検討する。
従来の文献よりも厳格に強力なバックドアの新たなクラスを実証するために使用しています。
攻撃者はトレーニングデータを変更したり、コードの実行を観察したり、結果のモデルにアクセスしたりすることができません。
論文 参考訳(メタデータ) (2020-05-08T02:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。