論文の概要: Enhancing the "Immunity" of Mixture-of-Experts Networks for Adversarial Defense

• arxiv url: http://arxiv.org/abs/2402.18787v1
• Date: Thu, 29 Feb 2024 01:27:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 16:21:09.189839
• Title: Enhancing the "Immunity" of Mixture-of-Experts Networks for Adversarial Defense
• Title（参考訳）: 敵防衛のための混在型ネットワークの「免疫」の強化
• Authors: Qiao Han, yong huang, xinling Guo, Yiteng Zhai, Yu Qin and Yao Yang
• Abstract要約: 近年の研究では、敵対的な例に対するディープニューラルネットワーク(DNN)の脆弱性が明らかにされている。 そこで我々は,Mixture-of-Experts (MoE) アーキテクチャを改良した新たな敵防御手法 "Immunity" を提案する。
• 参考スコア（独自算出の注目度）: 6.3712912872409415
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent studies have revealed the vulnerability of Deep Neural Networks (DNNs) to adversarial examples, which can easily fool DNNs into making incorrect predictions. To mitigate this deficiency, we propose a novel adversarial defense method called "Immunity" (Innovative MoE with MUtual information \& positioN stabilITY) based on a modified Mixture-of-Experts (MoE) architecture in this work. The key enhancements to the standard MoE are two-fold: 1) integrating of Random Switch Gates (RSGs) to obtain diverse network structures via random permutation of RSG parameters at evaluation time, despite of RSGs being determined after one-time training; 2) devising innovative Mutual Information (MI)-based and Position Stability-based loss functions by capitalizing on Grad-CAM's explanatory power to increase the diversity and the causality of expert networks. Notably, our MI-based loss operates directly on the heatmaps, thereby inducing subtler negative impacts on the classification performance when compared to other losses of the same type, theoretically. Extensive evaluation validates the efficacy of the proposed approach in improving adversarial robustness against a wide range of attacks.
• Abstract（参考訳）: 近年の研究では、DNNを騙して誤った予測をすることができる敵対的な例に対するディープニューラルネットワーク(DNN)の脆弱性が明らかにされている。 そこで本研究では,Mixture-of-Experts (MoE) アーキテクチャを改良した「Immunity (Innovative MoE with MUtual Information \& positioN Stability)」と呼ばれる新たな敵防衛手法を提案する。 標準moeのキーとなる拡張は2つある。 1) ランダムスイッチゲート(RSG)の統合は,1回のトレーニング後にRSGが決定されたにもかかわらず,評価時にRSGパラメータをランダムに置換することで,多様なネットワーク構造を得る。 2) エキスパートネットワークの多様性と因果性を高めるために, grad-camの説明力を活用することにより, 革新的相互情報(mi)と位置安定に基づく損失関数を考案する。 特にMIに基づく損失はヒートマップ上で直接動作するため、理論的には同じタイプの損失と比較して分類性能に微妙な悪影響を及ぼす。 広範な評価は、幅広い攻撃に対する敵のロバスト性を改善するための提案手法の有効性を検証する。

関連論文リスト

• CALoR: Towards Comprehensive Model Inversion Defense [43.2642796582236]
  Model Inversion Attacks (MIAs)は、プライバシに敏感なトレーニングデータを、リリースされた機械学習モデルにエンコードされた知識から回復することを目的としている。 MIA分野の最近の進歩は、複数のシナリオにおける攻撃性能を大幅に向上させた。 信頼性適応と低ランク圧縮を統合した堅牢な防御機構を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:44:01Z)
• Beyond Dropout: Robust Convolutional Neural Networks Based on Local Feature Masking [6.189613073024831]
  本研究では、畳み込みニューラルネットワーク(CNN)の性能向上を目的とした、革新的なローカル特徴マスキング(LFM)戦略を紹介する。 トレーニング期間中、我々はCNNの浅い層にランダムな特徴マスキングを戦略的に組み込む。 LFMは、ある意味的特徴の欠如を補うために残りの特徴を活用することで、ネットワークを補完する。
  論文  参考訳（メタデータ） (2024-07-18T16:25:16Z)
• The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
  我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。 FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。 実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
  論文  参考訳（メタデータ） (2024-02-18T23:14:40Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Enhancing Adversarial Robustness via Score-Based Optimization [22.87882885963586]
  敵対的攻撃は、わずかな摂動を導入することによって、ディープニューラルネットワーク分類器を誤認する可能性がある。 ScoreOptと呼ばれる新しい対向防御方式を導入し、テスト時に対向サンプルを最適化する。 実験の結果,本手法は性能とロバスト性の両方において,既存の敵防御よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-10T03:59:42Z)
• Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning [80.21709045433096]
  対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。 距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。 予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
  論文  参考訳（メタデータ） (2022-11-04T13:54:02Z)
• Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization [58.641705224371876]
  ディープニューラルネットワーク(DNN)の敵対的脆弱性は、ここ数年で積極的に研究されている。 本稿では,クロスエントロピー損失のスケール変動特性について検討する。 提案した有効マージン正則化(EMR)は,大きな有効マージンを学習し,標準トレーニングと対向トレーニングの両方において対向的ロバスト性を高めることを示す。
  論文  参考訳（メタデータ） (2022-10-11T03:16:56Z)
• Mixture GAN For Modulation Classification Resiliency Against Adversarial Attacks [55.92475932732775]
  本稿では,GANをベースとした新たな生成逆ネットワーク(Generative Adversarial Network, GAN)を提案する。 GANベースの目的は、DNNベースの分類器に入力する前に、敵の攻撃例を排除することである。 シミュレーションの結果,DNNをベースとしたAMCの精度が約81%に向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-29T22:30:32Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Combating the Instability of Mutual Information-based Losses via Regularization [7.424262881242935]
  私たちはまず、その不安定性の背後にある症状を特定します。 既存の損失に新たな正規化用語を追加することで、両方の問題を緩和します。 下流タスクにおけるMI推定能力とMI推定能力の両面でMIに基づく損失を評価する新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2020-11-16T13:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。