論文の概要: MixACM: Mixup-Based Robustness Transfer via Distillation of Activated Channel Maps

• arxiv url: http://arxiv.org/abs/2111.05073v1
• Date: Tue, 9 Nov 2021 12:03:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 14:49:26.555150
• Title: MixACM: Mixup-Based Robustness Transfer via Distillation of Activated Channel Maps
• Title（参考訳）: MixACM: 活性化チャネルマップの蒸留による混合系ロバスト性伝達
• Authors: Muhammad Awais and Fengwei Zhou and Chuanlong Xie and Jiawei Li and Sung-Ho Bae and Zhenguo Li
• Abstract要約: ディープ・ニューラル・ネットワークは、自然の入力において、敵対的に作り上げられた、小さく、知覚できない変化に感受性がある。 敵の訓練は、損失の反復的一般化による訓練中の敵の例を構築する。 このmin-maxの一般化には、より多くのデータ、より大きなキャパシティモデル、追加のコンピューティングリソースが必要である。 本研究では,教師モデルから学生モデルへのロバストネスの伝達性について,ミックスアップ強化の助けを借りて示す。
• 参考スコア（独自算出の注目度）: 24.22149102286949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are susceptible to adversarially crafted, small and imperceptible changes in the natural inputs. The most effective defense mechanism against these examples is adversarial training which constructs adversarial examples during training by iterative maximization of loss. The model is then trained to minimize the loss on these constructed examples. This min-max optimization requires more data, larger capacity models, and additional computing resources. It also degrades the standard generalization performance of a model. Can we achieve robustness more efficiently? In this work, we explore this question from the perspective of knowledge transfer. First, we theoretically show the transferability of robustness from an adversarially trained teacher model to a student model with the help of mixup augmentation. Second, we propose a novel robustness transfer method called Mixup-Based Activated Channel Maps (MixACM) Transfer. MixACM transfers robustness from a robust teacher to a student by matching activated channel maps generated without expensive adversarial perturbations. Finally, extensive experiments on multiple datasets and different learning scenarios show our method can transfer robustness while also improving generalization on natural images.
• Abstract（参考訳）: ディープニューラルネットワークは、自然な入力に対して、敵対的に作り上げられ、小さく、知覚できない変化に影響を受けやすい。 これらの例に対する最も効果的な防御機構は、損失の反復的最大化による訓練中の敵の例を構築する敵の訓練である。 モデルは、これらの構築された例の損失を最小限に抑えるように訓練される。 このmin-max最適化は、より多くのデータ、より大きなキャパシティモデル、追加のコンピューティングリソースを必要とする。 また、モデルの標準一般化性能を低下させる。 堅牢性をより効率的に実現できるか? 本研究では,知識伝達の観点から,この問題を考察する。 まず,教師モデルから学生モデルへの頑健さの伝達可能性について,混合強化の助けを借りて理論的に示す。 次に,mixup-based activated channel maps (mixacm) 転送と呼ばれる新しいロバスト性伝達法を提案する。 MixACMは、高価な対向的摂動を伴わずに生成された活性化チャネルマップをマッチングすることにより、ロバストな教師から生徒にロバストさを伝達する。 最後に、複数のデータセットと異なる学習シナリオに関する広範な実験により、我々の手法は、自然画像の一般化を改善しつつ、堅牢性を伝達できることを示した。

関連論文リスト

• Segue: Side-information Guided Generative Unlearnable Examples for Facial Privacy Protection in Real World [64.4289385463226]
  生成不可能な例としては、Segue: Side-information guided Generative unlearnable Exampleを提案する。 転送性を向上させるために,真のラベルや擬似ラベルなどの側面情報を導入する。 JPEG圧縮、敵対的トレーニング、およびいくつかの標準的なデータ拡張に抵抗することができる。
  論文  参考訳（メタデータ） (2023-10-24T06:22:37Z)
• Common Knowledge Learning for Generating Transferable Adversarial Examples [60.1287733223249]
  本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。 既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。 本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-01T09:07:12Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Learning to Learn Transferable Attack [77.67399621530052]
  転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。 本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。 提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
  論文  参考訳（メタデータ） (2021-12-10T07:24:21Z)
• Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
  モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。 本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
  論文  参考訳（メタデータ） (2021-12-09T15:59:42Z)
• CARTL: Cooperative Adversarially-Robust Transfer Learning [22.943270371841226]
  ディープラーニングでは、トランスファーラーニングの典型的な戦略は、事前訓練されたモデルの初期のレイヤを凍結し、ターゲットドメイン上の残りのレイヤを微調整することである。 本稿では,特徴距離の最小化によるモデル事前学習と,対象領域タスクに対する非拡張的微調整による事前学習により,協調的逆転変換学習(CARTL)を提案する。
  論文  参考訳（メタデータ） (2021-06-12T02:29:55Z)
• DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles [20.46399318111058]
  敵攻撃は、小さな摂動でCNNモデルを誤解させる可能性があるため、同じデータセットでトレーニングされた異なるモデル間で効果的に転送することができる。 非破壊的特徴を蒸留することにより,各サブモデルの逆脆弱性を分離するDVERGEを提案する。 新たな多様性基準とトレーニング手順により、DVERGEは転送攻撃に対して高い堅牢性を達成することができる。
  論文  参考訳（メタデータ） (2020-09-30T14:57:35Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)
• Renofeation: A Simple Transfer Learning Method for Improved Adversarial Robustness [26.73248223512572]
  最近の敵攻撃は、エンド・ツー・エンドの微調整を通じてトランスファーラーニングで訓練されたモデルを欺くことができる。 これにより、多くの産業アプリケーションに対するセキュリティ上の懸念が高まる。 本稿では,新しい伝達学習法であるノイズ特性蒸留を提案する。
  論文  参考訳（メタデータ） (2020-02-07T20:07:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。