論文の概要: Mixture of Robust Experts (MoRE): A Flexible Defense Against Multiple Perturbations

• arxiv url: http://arxiv.org/abs/2104.10586v1
• Date: Wed, 21 Apr 2021 15:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 14:31:43.330496
• Title: Mixture of Robust Experts (MoRE): A Flexible Defense Against Multiple Perturbations
• Title（参考訳）: ロバストな専門家の混合(さらに) : 多重摂動に対する柔軟な防御
• Authors: Hao Cheng, Kaidi Xu, Chenan Wang, Xue Lin, Bhavya Kailkhura, Ryan Goldhahn
• Abstract要約: MoRE(Mixture of Robust Experts)アプローチは、幅広い堅牢な専門家と優れたパフォーマンスの柔軟な統合を可能にする。 本研究では,ゲーティング機構を用いて,特定の摂動タイプに対処するために,あるいは通常はクリーンデータの正確性を高めるために訓練された専門家ネットワークの組を組み立てる。
• 参考スコア（独自算出の注目度）: 33.868833849116044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To tackle the susceptibility of deep neural networks to adversarial examples, the adversarial training has been proposed which provides a notion of security through an inner maximization problem presenting the first-order adversaries embedded within the outer minimization of the training loss. To generalize the adversarial robustness over different perturbation types, the adversarial training method has been augmented with the improved inner maximization presenting a union of multiple perturbations e.g., various $\ell_p$ norm-bounded perturbations. However, the improved inner maximization only enjoys limited flexibility in terms of the allowable perturbation types. In this work, through a gating mechanism, we assemble a set of expert networks, each one either adversarially trained to deal with a particular perturbation type or normally trained for boosting accuracy on clean data. The gating module assigns weights dynamically to each expert to achieve superior accuracy under various data types e.g., adversarial examples, adverse weather perturbations, and clean input. In order to deal with the obfuscated gradients issue, the training of the gating module is conducted together with fine-tuning of the last fully connected layers of expert networks through adversarial training approach. Using extensive experiments, we show that our Mixture of Robust Experts (MoRE) approach enables flexible integration of a broad range of robust experts with superior performance.
• Abstract（参考訳）: 深層ニューラルネットワークの敵に対する感受性に対処するため,訓練損失の最小化に埋め込まれた一階の敵を提示する内部最大化問題を通じて,セキュリティの概念を提供する対人訓練が提案されている。 異なる摂動タイプに対する逆ロバスト性を一般化するために、様々な$\ell_p$ノルムバウンド摂動のような複数の摂動の結合を示す改良された内的最大化により、逆訓練法が強化された。 しかし、改良された内部最大化は許容摂動タイプの観点からは限られた柔軟性しか享受できない。 本研究では, ゲーティング機構を用いて, 特定の摂動タイプに対応するために, 逆向きに訓練されたか, 清潔なデータに対する正確性を高めるために通常訓練された, 専門家ネットワークの集合を組み立てる。 ゲーティングモジュールは各専門家に動的に重みを割り当て、敵の例、悪天候の摂動、クリーンな入力など、様々なデータタイプにおいてより優れた精度を達成する。 難解な勾配問題に対処するため、対向的なトレーニングアプローチにより、最後の完全に接続された専門家ネットワークの層を微調整してゲーティングモジュールの訓練を行う。 広範な実験により、我々のMixture of Robust Experts (MoRE) アプローチは、幅広いロバスト専門家と優れたパフォーマンスを持つ柔軟な統合を可能にします。

関連論文リスト

• Focus on Hiders: Exploring Hidden Threats for Enhancing Adversarial Training [20.1991376813843]
  我々は、HFAT(Hider-Focused Adversarial Training)と呼ばれる一般化した逆トレーニングアルゴリズムを提案する。 HFATは、標準的な対向訓練と予防隠蔽装置の最適化方向を組み合わせたものである。 提案手法の有効性を実験により検証した。
  論文  参考訳（メタデータ） (2023-12-12T08:41:18Z)
• Adversarial Training Should Be Cast as a Non-Zero-Sum Game [121.95628660889628]
  対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。 敵のトレーニングアルゴリズムでよく使われるサロゲートベースの緩和は、ロバスト性に関するすべての保証を無効にすることを示す。 対人訓練の新たな非ゼロサム二段階の定式化は、一致し、場合によっては最先端の攻撃よりも優れたフレームワークをもたらす。
  論文  参考訳（メタデータ） (2023-06-19T16:00:48Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Robustness-via-Synthesis: Robust Training with Generative Adversarial Perturbations [10.140147080535224]
  先制攻撃による敵の訓練は、今日の敵の摂動に対する最も効果的な防御の1つである。 本研究では, 逆方向の摂動を自動的にランダムなベクトルから生成ネットワークを用いて合成する頑健な学習アルゴリズムを提案する。 実験結果から, 提案手法は様々な勾配に基づく, 生成的ロバストトレーニング手法により, 同等のロバスト性が得られることがわかった。
  論文  参考訳（メタデータ） (2021-08-22T13:15:24Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Dynamic Divide-and-Conquer Adversarial Training for Robust Semantic Segmentation [79.42338812621874]
  敵のトレーニングは、敵の摂動に対するディープニューラルネットワークの堅牢性を改善することを約束している。 本研究は, 敵とクリーンの両方のサンプルに対して良好に動作可能な, 汎用的な敵の訓練手順を定式化する。 本稿では,防衛効果を高めるための動的分割対対人訓練(DDC-AT)戦略を提案する。
  論文  参考訳（メタデータ） (2020-03-14T05:06:49Z)
• Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve Adversarial Robustness [79.47619798416194]
  Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。 予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-03-02T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。