論文の概要: Pre-trained Adversarial Perturbations
- arxiv url: http://arxiv.org/abs/2210.03372v1
- Date: Fri, 7 Oct 2022 07:28:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 12:57:10.591725
- Title: Pre-trained Adversarial Perturbations
- Title(参考訳): 逆行性摂動の事前訓練
- Authors: Yuanhao Ban, Yinpeng Dong
- Abstract要約: PAP(Pre-trained Adversarial Perturbations)は、訓練済みモデルが微調整されたモデルを攻撃する際の有効性を維持するために考案された、普遍的な摂動である。
トレーニング済みモデルの低レベル層のニューロン活性化を解除し,有効なPAPを生成する低レベル層リフティングアタック(L4A)法を提案する。
通常の訓練済み視覚モデルと10のダウンストリームタスクの実験により、我々の手法は最先端の手法と比較して、攻撃成功率を大幅に向上することを示した。
- 参考スコア(独自算出の注目度): 16.95886568770364
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Self-supervised pre-training has drawn increasing attention in recent years
due to its superior performance on numerous downstream tasks after fine-tuning.
However, it is well-known that deep learning models lack the robustness to
adversarial examples, which can also invoke security issues to pre-trained
models, despite being less explored. In this paper, we delve into the
robustness of pre-trained models by introducing Pre-trained Adversarial
Perturbations (PAPs), which are universal perturbations crafted for the
pre-trained models to maintain the effectiveness when attacking fine-tuned ones
without any knowledge of the downstream tasks. To this end, we propose a
Low-Level Layer Lifting Attack (L4A) method to generate effective PAPs by
lifting the neuron activations of low-level layers of the pre-trained models.
Equipped with an enhanced noise augmentation strategy, L4A is effective at
generating more transferable PAPs against fine-tuned models. Extensive
experiments on typical pre-trained vision models and ten downstream tasks
demonstrate that our method improves the attack success rate by a large margin
compared with state-of-the-art methods.
- Abstract(参考訳): 近年,微調整後のダウンストリームタスク数が多いため,自己教師付き事前学習が注目されている。
しかし、ディープラーニングモデルには敵の例に対する堅牢性が欠如していることはよく知られている。
本稿では, 事前学習モデルに対して, 下流タスクの知識のない微調整モデルを攻撃する際の有効性を維持するために, 訓練済みモデルに対する普遍的な摂動であるPAP(Pre-trained Adversarial Perturbations)を導入することにより, 事前学習モデルの堅牢性を検討する。
そこで本研究では,学習済みモデルの低レベル層のニューロン活性化を引き上げることにより,有効なPAPを生成するL4A法を提案する。
改良されたノイズ増強戦略により、L4Aは微調整モデルに対してより伝達可能なPAPを生成するのに効果的である。
一般的な事前訓練された視覚モデルと10個の下流タスクに関する広範囲な実験により,本手法は最先端手法に比べて攻撃成功率を高いマージンで改善することを示した。
関連論文リスト
- SOPHON: Non-Fine-Tunable Learning to Restrain Task Transferability For Pre-trained Models [19.41370590658815]
強力な事前訓練されたモデルは、非倫理的または違法なタスクに誤用される可能性がある。
先駆的な学習パラダイムであるNon-fine-tunable Learningを導入し、事前学習されたモデルが不適切なタスクに微調整されるのを防ぐ。
本稿では、予め定義された制限ドメインで微調整された場合に抵抗する、与えられた事前学習モデルを強化する保護フレームワークSOPHONを提案する。
論文 参考訳(メタデータ) (2024-04-19T08:07:26Z) - Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness [52.9493817508055]
我々は,モデルがゼロショットの逆方向のロバスト性を高めるために,事前訓練されたモデル誘導逆方向の微調整(PMG-AFT)を提案する。
私たちのアプローチは、平均8.72%のクリーンな精度を継続的に改善します。
論文 参考訳(メタデータ) (2024-01-09T04:33:03Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳(メタデータ) (2023-10-19T13:13:41Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Memorization in NLP Fine-tuning Methods [34.66743495192471]
我々は,メンバシップ推論と抽出攻撃を用いた微調整手法の暗記を経験的に研究した。
モデルヘッドの微調整は攻撃に対する最も感受性が高いが、細調整された小さなアダプタは既知の抽出攻撃に対する脆弱さが低いようである。
論文 参考訳(メタデータ) (2022-05-25T05:49:31Z) - A Prompting-based Approach for Adversarial Example Generation and
Robustness Enhancement [18.532308729844598]
我々は,NLPモデルに侵入する新たなプロンプトベースの敵攻撃を提案する。
悪質な目的によってマスク・アンド・フィリングによって敵の例を生成する。
本手法は, 逆方向のサンプルを生成するのではなく, 大規模トレーニングセットに効率的に適用することができる。
論文 参考訳(メタデータ) (2022-03-21T03:21:32Z) - Improving White-box Robustness of Pre-processing Defenses via Joint Adversarial Training [106.34722726264522]
対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。
プレプロセス法は、ロバストネス劣化効果に悩まされることがある。
この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。
本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
論文 参考訳(メタデータ) (2021-06-10T01:45:32Z) - Regularizers for Single-step Adversarial Training [49.65499307547198]
本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。
正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
論文 参考訳(メタデータ) (2020-02-03T09:21:04Z) - Efficient Adversarial Training with Transferable Adversarial Examples [58.62766224452761]
同じトレーニングプロセスにおいて、近隣のエポックからのモデル間で高い転送可能性があることが示される。
本稿では,ATTA(Adversarial Training with Transferable Adversarial Examples)を提案する。
論文 参考訳(メタデータ) (2019-12-27T03:05:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。