論文の概要: Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers

• arxiv url: http://arxiv.org/abs/2509.05086v1
• Date: Fri, 05 Sep 2025 13:25:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.597459
• Title: Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers
• Title（参考訳）: ロバスト専門家:スパース・ミックス・オブ・サーキット・レイヤを用いたCNNに対する対人訓練の効果
• Authors: Svetlana Pavlitska, Haixi Fan, Konstantin Ditschuneit, J. Marius Zöllner,
• Abstract要約: 敵の攻撃に対する畳み込みニューラルネットワーク(CNN)のロバスト化は依然として困難である。 頑健性を向上させるため, スパース・ミックス・オブ・エキスパート(MoE)層の利用について検討する。 より深いステージに1つのMoE層を挿入すると、ロバスト性が一貫した改善が得られます。
• 参考スコア（独自算出の注目度）: 10.912224105652044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustifying convolutional neural networks (CNNs) against adversarial attacks remains challenging and often requires resource-intensive countermeasures. We explore the use of sparse mixture-of-experts (MoE) layers to improve robustness by replacing selected residual blocks or convolutional layers, thereby increasing model capacity without additional inference cost. On ResNet architectures trained on CIFAR-100, we find that inserting a single MoE layer in the deeper stages leads to consistent improvements in robustness under PGD and AutoPGD attacks when combined with adversarial training. Furthermore, we discover that when switch loss is used for balancing, it causes routing to collapse onto a small set of overused experts, thereby concentrating adversarial training on these paths and inadvertently making them more robust. As a result, some individual experts outperform the gated MoE model in robustness, suggesting that robust subpaths emerge through specialization. Our code is available at https://github.com/KASTEL-MobilityLab/robust-sparse-moes.
• Abstract（参考訳）: 敵の攻撃に対するロバスト化畳み込みニューラルネットワーク(CNN)は依然として困難であり、リソース集約的な対策を必要とすることが多い。 本研究では,選択した残差ブロックや畳み込み層を置き換え,モデルキャパシティを追加の推論コストを伴わずに向上させることにより,ロバスト性を向上させるため,スパース・ミックス・オブ・エキスパート(MoE)層の利用について検討する。 CIFAR-100でトレーニングされたResNetアーキテクチャでは、より深いステージに単一のMoE層を挿入すると、敵対的トレーニングと組み合わせることでPGDおよびAutoPGD攻撃下での堅牢性が一貫した改善が達成される。 さらに、スイッチロスがバランスをとるために使用されると、ルーティングが少数の過剰な専門家に崩壊し、これらのパスに対する敵の訓練が集中し、必然的にそれらをより堅牢にすることを発見した。 結果として、一部の個人の専門家はゲートMOEモデルよりも頑健さが優れており、ロバストなサブパスが特殊化によって出現することを示唆している。 私たちのコードはhttps://github.com/KASTEL-MobilityLab/robust-sparse-moesで利用可能です。

関連論文リスト

• A Few Large Shifts: Layer-Inconsistency Based Minimal Overhead Adversarial Example Detection [9.335304254034401]
  我々は、ターゲットモデル自体の内部の階層的不整合を利用して、軽量なプラグイン検出フレームワークを導入する。 本手法は, 計算オーバーヘッドを無視し, 正確さを損なうことなく, 最先端検出性能を実現する。
  論文  参考訳（メタデータ） (2025-05-19T00:48:53Z)
• Towards Adversarial Robustness of Model-Level Mixture-of-Experts Architectures for Semantic Segmentation [11.311414617703308]
  都市交通シーンと高速道路交通シーンのセマンティックセグメンテーションにおけるMoEsの脆弱性を評価する。 多くの場合、MoEsは、インスタンスごとの攻撃や汎用的なホワイトボックス攻撃に対してより堅牢であり、転送攻撃に耐えられることを示す。
  論文  参考訳（メタデータ） (2024-12-16T09:49:59Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Combating Adversaries with Anti-Adversaries [118.70141983415445]
  特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。 我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。 我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2021-03-26T09:36:59Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。