論文の概要: MIMIR: Masked Image Modeling for Mutual Information-based Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2312.04960v3
- Date: Fri, 16 Aug 2024 12:31:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 20:55:32.998548
- Title: MIMIR: Masked Image Modeling for Mutual Information-based Adversarial Robustness
- Title(参考訳): MIMIR:相互情報に基づく対向ロバスト性のためのマスク画像モデリング
- Authors: Xiaoyun Xu, Shujian Yu, Zhuoran Liu, Stjepan Picek,
- Abstract要約: 堅牢なビジョントランスフォーマー(ViTs)の構築は、専用のAdversarial Training(AT)戦略に大きく依存している。
自動エンコーダに基づく自己教師型事前学習における理論的相互情報(MI)解析について述べる。
マスク付きオートエンコーダを用いたMIMIRを提案する。
- 参考スコア(独自算出の注目度): 31.603115393528746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision Transformers (ViTs) achieve excellent performance in various tasks, but they are also vulnerable to adversarial attacks. Building robust ViTs is highly dependent on dedicated Adversarial Training (AT) strategies. However, current ViTs' adversarial training only employs well-established training approaches from convolutional neural network (CNN) training, where pre-training provides the basis for AT fine-tuning with the additional help of tailored data augmentations. In this paper, we take a closer look at the adversarial robustness of ViTs by providing a novel theoretical Mutual Information (MI) analysis in its autoencoder-based self-supervised pre-training. Specifically, we show that MI between the adversarial example and its latent representation in ViT-based autoencoders should be constrained by utilizing the MI bounds. Based on this finding, we propose a masked autoencoder-based pre-training method, MIMIR, that employs an MI penalty to facilitate the adversarial training of ViTs. Extensive experiments show that MIMIR outperforms state-of-the-art adversarially trained ViTs on benchmark datasets with higher natural and robust accuracy, indicating that ViTs can substantially benefit from exploiting MI. In addition, we consider two adaptive attacks by assuming that the adversary is aware of the MIMIR design, which further verifies the provided robustness.
- Abstract(参考訳): 視覚変換器(ViT)は様々なタスクにおいて優れた性能を発揮するが、敵攻撃にも脆弱である。
堅牢なViTの構築は、専用のAdversarial Training (AT)戦略に大きく依存している。
しかし、現在のViTsの対人トレーニングでは、畳み込みニューラルネットワーク(CNN)トレーニングから確立されたトレーニングアプローチのみを採用しており、事前トレーニングは、調整されたデータ拡張の助けを借りて、ATファインチューニングの基礎を提供する。
本稿では、自動エンコーダに基づく自己教師型事前学習において、新しい理論的相互情報(MI)解析を提供することにより、ViTの対角的ロバスト性についてより詳しく検討する。
具体的には、逆例とViTベースのオートエンコーダにおける潜在表現の間のMIは、MI境界を利用することで制約すべきであることを示す。
そこで本研究では,MIペナルティを応用したマスク付きオートエンコーダによる事前学習手法MIMIRを提案する。
大規模な実験により、MIMIRは、より自然でロバストな精度でベンチマークデータセット上で、最先端に訓練されたViTよりも優れていることが示され、ViTsがMIを悪用することで大きなメリットを享受できることが示されている。
さらに, 敵がMIMIR設計を認識していると仮定して, 2つのアダプティブアタックを考慮し, 与えられたロバスト性をさらに検証する。
関連論文リスト
- Fast Propagation is Better: Accelerating Single-Step Adversarial
Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。
モデルの内部構造ブロックを利用して効率を向上させることを提案する。
従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文 参考訳(メタデータ) (2023-10-24T01:36:20Z) - Outlier Robust Adversarial Training [57.06824365801612]
本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。
ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。
ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
論文 参考訳(メタデータ) (2023-09-10T21:36:38Z) - Masking and Mixing Adversarial Training [9.690454593095495]
敵の訓練は、敵の例の脅威から守るために人気があり、簡単なテクニックである。
CNNは、敵の例に対する堅牢性を改善するために、標準サンプルの精度を犠牲にしなければならない。
本稿では,M2AT(Masking and Mixing Adversarial Training)を提案する。
論文 参考訳(メタデータ) (2023-02-16T04:05:53Z) - Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial
Defense [52.66971714830943]
マスク付き画像モデリング(MIM)は、自己教師付き視覚表現学習のフレームワークとして普及している。
本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に対して対角的ロバスト性を提供する方法について検討する。
本稿では,デノナイジングのためのデコーダを用いて,デノナイジングのための対角防御手法を提案する。
論文 参考訳(メタデータ) (2023-02-02T12:37:24Z) - Bayesian Learning with Information Gain Provably Bounds Risk for a
Robust Adversarial Defense [27.545466364906773]
敵攻撃に対して堅牢なディープニューラルネットワークモデルを学習するための新しいアルゴリズムを提案する。
本モデルでは, PGD 攻撃下での対人訓練と Adv-BNN との比較により, 強靭性は20%まで向上した。
論文 参考訳(メタデータ) (2022-12-05T03:26:08Z) - AccelAT: A Framework for Accelerating the Adversarial Training of Deep
Neural Networks through Accuracy Gradient [12.118084418840152]
アドリヤトレーニングを利用して、悪意のある変更データに対する堅牢なディープニューラルネットワーク(DNN)モデルを開発する。
本研究の目的は、敵の攻撃に対して堅牢なDNNモデルの迅速な開発を可能にするために、敵の訓練を加速することである。
論文 参考訳(メタデータ) (2022-10-13T10:31:51Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳(メタデータ) (2022-08-17T05:42:59Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Understanding the Logit Distributions of Adversarially-Trained Deep
Neural Networks [6.439477789066243]
敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。
敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。
対向性学習に不可欠な3つのロジット特性を同定する。
論文 参考訳(メタデータ) (2021-08-26T19:09:15Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳(メタデータ) (2020-07-29T08:38:10Z) - Towards Achieving Adversarial Robustness by Enforcing Feature
Consistency Across Bit Planes [51.31334977346847]
我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。
異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
論文 参考訳(メタデータ) (2020-04-01T09:31:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。