論文の概要: MIMIR: Masked Image Modeling for Mutual Information-based Adversarial
Robustness
- arxiv url: http://arxiv.org/abs/2312.04960v2
- Date: Wed, 17 Jan 2024 13:47:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 19:49:42.468501
- Title: MIMIR: Masked Image Modeling for Mutual Information-based Adversarial
Robustness
- Title(参考訳): MIMIR:相互情報に基づく対向ロバスト性のためのマスク画像モデリング
- Authors: Xiaoyun Xu, Shujian Yu, Jingzheng Wu, Stjepan Picek
- Abstract要約: 視覚変換器(ViT)は畳み込みニューラルネットワーク(CNN)と比較して様々なタスクにおいて優れた性能を発揮する
本報告では, マスク付き画像モデリングを事前学習時に活用することにより, 異なる対角的訓練手法を構築することを目的とした, 新たな防御手法MIMIRを提案する。
以上の結果から,MIMIRではCIFAR-10では4.19%,ImageNet-1Kでは5.52%の精度向上が見られた。
- 参考スコア(独自算出の注目度): 31.76309077313509
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision Transformers (ViTs) achieve superior performance on various tasks
compared to convolutional neural networks (CNNs), but ViTs are also vulnerable
to adversarial attacks. Adversarial training is one of the most successful
methods to build robust CNN models. Thus, recent works explored new
methodologies for adversarial training of ViTs based on the differences between
ViTs and CNNs, such as better training strategies, preventing attention from
focusing on a single block, or discarding low-attention embeddings. However,
these methods still follow the design of traditional supervised adversarial
training, limiting the potential of adversarial training on ViTs. This paper
proposes a novel defense method, MIMIR, which aims to build a different
adversarial training methodology by utilizing Masked Image Modeling at
pre-training. We create an autoencoder that accepts adversarial examples as
input but takes the clean examples as the modeling target. Then, we create a
mutual information (MI) penalty following the idea of the Information
Bottleneck. Among the two information source inputs and corresponding
adversarial perturbation, the perturbation information is eliminated due to the
constraint of the modeling target. Next, we provide a theoretical analysis of
MIMIR using the bounds of the MI penalty. We also design two adaptive attacks
when the adversary is aware of the MIMIR defense and show that MIMIR still
performs well. The experimental results show that MIMIR improves (natural and
adversarial) accuracy on average by 4.19% on CIFAR-10 and 5.52% on ImageNet-1K,
compared to baselines. On Tiny-ImageNet, we obtained improved natural accuracy
of 2.99\% on average and comparable adversarial accuracy. Our code and trained
models are publicly available https://github.com/xiaoyunxxy/MIMIR.
- Abstract(参考訳): 視覚トランスフォーマー (vits) は畳み込みニューラルネットワーク (cnns) と比較して様々なタスクで優れた性能を発揮するが、vitsは逆攻撃にも弱い。
敵の訓練は、堅牢なCNNモデルを構築する最も成功した方法の1つである。
そこで,近年の研究では,vitsとcnnの違い,例えばトレーニング戦略の改善,シングルブロックへの注意の集中の防止,低アテンション埋め込みの破棄などに基づいて,vitsの敵対的トレーニングのための新しい手法が検討されている。
しかし、これらの手法は従来型の教師付き対人訓練の設計に従い、ViTの対人訓練の可能性を制限する。
本稿では,新しい防御法であるmimirを提案し,プレトレーニング時のマスク画像モデリングを活用し,異なる対向訓練手法の構築を目指す。
我々は、逆例を入力として受け入れるオートエンコーダを作成するが、クリーン例をモデリング対象とする。
次に、情報ボトルネックの考え方に従って相互情報(mi)ペナルティを作成する。
2つの情報ソース入力と対応する対向的摂動のうち、モデリング対象の制約により摂動情報が排除される。
次に,miペナルティの限界を用いたmimirの理論的解析を行う。
また、敵がMIMIRの防御に気付いていれば2つのアダプティブアタックを設計し、MIMIRの動作が良好であることを示す。
実験の結果、MIMIRはベースラインに比べてCIFAR-10では4.19%、ImageNet-1Kでは5.52%の精度で(自然と敵の)精度が向上した。
Tiny-ImageNetでは, 自然精度が2.99\%向上し, 対逆精度が向上した。
私たちのコードとトレーニングされたモデルは、https://github.com/xiaoyunxxy/MIMIR.comで公開されています。
関連論文リスト
- Fast Propagation is Better: Accelerating Single-Step Adversarial
Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。
モデルの内部構造ブロックを利用して効率を向上させることを提案する。
従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文 参考訳(メタデータ) (2023-10-24T01:36:20Z) - Outlier Robust Adversarial Training [57.06824365801612]
本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。
ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。
ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
論文 参考訳(メタデータ) (2023-09-10T21:36:38Z) - Masking and Mixing Adversarial Training [9.690454593095495]
敵の訓練は、敵の例の脅威から守るために人気があり、簡単なテクニックである。
CNNは、敵の例に対する堅牢性を改善するために、標準サンプルの精度を犠牲にしなければならない。
本稿では,M2AT(Masking and Mixing Adversarial Training)を提案する。
論文 参考訳(メタデータ) (2023-02-16T04:05:53Z) - Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial
Defense [52.66971714830943]
マスク付き画像モデリング(MIM)は、自己教師付き視覚表現学習のフレームワークとして普及している。
本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に対して対角的ロバスト性を提供する方法について検討する。
本稿では,デノナイジングのためのデコーダを用いて,デノナイジングのための対角防御手法を提案する。
論文 参考訳(メタデータ) (2023-02-02T12:37:24Z) - Bayesian Learning with Information Gain Provably Bounds Risk for a
Robust Adversarial Defense [27.545466364906773]
敵攻撃に対して堅牢なディープニューラルネットワークモデルを学習するための新しいアルゴリズムを提案する。
本モデルでは, PGD 攻撃下での対人訓練と Adv-BNN との比較により, 強靭性は20%まで向上した。
論文 参考訳(メタデータ) (2022-12-05T03:26:08Z) - AccelAT: A Framework for Accelerating the Adversarial Training of Deep
Neural Networks through Accuracy Gradient [12.118084418840152]
アドリヤトレーニングを利用して、悪意のある変更データに対する堅牢なディープニューラルネットワーク(DNN)モデルを開発する。
本研究の目的は、敵の攻撃に対して堅牢なDNNモデルの迅速な開発を可能にするために、敵の訓練を加速することである。
論文 参考訳(メタデータ) (2022-10-13T10:31:51Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳(メタデータ) (2022-08-17T05:42:59Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Understanding the Logit Distributions of Adversarially-Trained Deep
Neural Networks [6.439477789066243]
敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。
敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。
対向性学習に不可欠な3つのロジット特性を同定する。
論文 参考訳(メタデータ) (2021-08-26T19:09:15Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳(メタデータ) (2020-07-29T08:38:10Z) - Towards Achieving Adversarial Robustness by Enforcing Feature
Consistency Across Bit Planes [51.31334977346847]
我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。
異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
論文 参考訳(メタデータ) (2020-04-01T09:31:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。