Fugu-MT 論文翻訳(概要): Mask-Guided Divergence Loss Improves the Generalization and Robustness of Deep Neural Network

論文の概要: Mask-Guided Divergence Loss Improves the Generalization and Robustness of Deep Neural Network

arxiv url: http://arxiv.org/abs/2206.00913v1
Date: Thu, 2 Jun 2022 08:13:14 GMT
ステータス: 処理完了
システム内更新日: 2022-06-03 13:53:22.994393
Title: Mask-Guided Divergence Loss Improves the Generalization and Robustness of Deep Neural Network
Title（参考訳）: Mask-Guided Divergence Lossはディープニューラルネットワークの一般化とロバスト性を改善する
Authors: Xiangyuan Yang, Jie Lin, Hanlin Zhang, Xinyu Yang, Peng Zhao
Abstract要約: ドロップアウトを伴うディープニューラルネットワーク(DNN)は、多数のサブDNNで構成されるアンサンブルモデルとみなすことができる。本稿では,アンサンブルサブDNNの多様性を高めるために,マスク誘導分散損失関数(MDL)を提案する。
参考スコア（独自算出の注目度）: 18.880398046794138
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural network (DNN) with dropout can be regarded as an ensemble model consisting of lots of sub-DNNs (i.e., an ensemble sub-DNN where the sub-DNN is the remaining part of the DNN after dropout), and through increasing the diversity of the ensemble sub-DNN, the generalization and robustness of the DNN can be effectively improved. In this paper, a mask-guided divergence loss function (MDL), which consists of a cross-entropy loss term and an orthogonal term, is proposed to increase the diversity of the ensemble sub-DNN by the added orthogonal term. Particularly, the mask technique is introduced to assist in generating the orthogonal term for avoiding overfitting of the diversity learning. The theoretical analysis and extensive experiments on 4 datasets (i.e., MNIST, FashionMNIST, CIFAR10, and CIFAR100) manifest that MDL can improve the generalization and robustness of standard training and adversarial training. For CIFAR10 and CIFAR100, in standard training, the maximum improvement of accuracy is $1.38\%$ on natural data, $30.97\%$ on FGSM (i.e., Fast Gradient Sign Method) attack, $38.18\%$ on PGD (i.e., Projected Gradient Descent) attack. While in adversarial training, the maximum improvement is $1.68\%$ on natural data, $4.03\%$ on FGSM attack and $2.65\%$ on PGD attack.
Abstract（参考訳）: ドロップアウトを伴うディープニューラルネットワーク(DNN)は、多数のサブDNN(すなわち、サブDNNがドロップアウト後のDNNの残りの部分であるアンサンブルサブDNN)からなるアンサンブルモデルとみなすことができ、アンサンブルサブDNNの多様性を増大させることにより、DNNの一般化と堅牢性を効果的に向上することができる。本稿では,クロスエントロピー損失項と直交項からなるマスク誘導分岐損失関数(mdl)を提案し,付加された直交項によりアンサンブルサブdnnの多様性を高める。特に,多様性学習の過剰さを避けるための直交語生成を支援するマスク技術が導入された。 4つのデータセット(mnist, fashionmnist, cifar10, cifar100)の理論分析と広範な実験により、mdlは標準訓練と敵対訓練の一般化と堅牢性を向上させることができることが示されている。 cifar10とcifar100の標準訓練では、精度の最大向上は自然データで1.38.%、fgsm攻撃で30.97.%、pgd攻撃で38.18.%である。逆行訓練では、最大の改善は自然データに対する1.68\%、FGSM攻撃に対する4.03\%、PGD攻撃に対する2.65\%である。

関連論文リスト

Obtaining Optimal Spiking Neural Network in Sequence Learning via CRNN-SNN Conversion [12.893883491781697]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)に代わる有望な選択肢である我々は、ニューラルネットワークにおける異なる構造のエンドツーエンド変換をサポートするために、2つのサブパイプを設計する。本手法の有効性を,最先端の学習法や変換法と比較し,短時間・長期の時間スケールで示す。
論文参考訳（メタデータ） (2024-08-18T08:23:51Z)
Improving the Robustness of Quantized Deep Neural Networks to White-Box Attacks using Stochastic Quantization and Information-Theoretic Ensemble Training [1.6098666134798774]
ディープニューラルネットワーク(DNN)を使用する現実世界のほとんどのアプリケーションは、計算ニーズを減らすためにそれらを低精度で量子化する。ホワイトボックス攻撃に対する量子化DNNのロバスト性を改善する手法を提案する。
論文参考訳（メタデータ） (2023-11-30T17:15:58Z)
Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文参考訳（メタデータ） (2022-08-17T05:42:59Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
A Mask-Based Adversarial Defense Scheme [3.759725391906588]
敵対的攻撃はディープニューラルネットワーク(DNN)の機能と精度を妨げる敵攻撃による負の効果を軽減するため,DNNのためのMask-based Adversarial Defense scheme (MAD)を提案する。
論文参考訳（メタデータ） (2022-04-21T12:55:27Z)
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文参考訳（メタデータ） (2021-12-12T17:13:14Z)
Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
論文参考訳（メタデータ） (2021-08-02T18:00:38Z)
Towards Robust Neural Networks via Orthogonal Diversity [30.77473391842894]
敵の訓練とその変種に代表される一連の手法は、ディープニューラルネットワークの堅牢性を高める最も効果的な手法の1つとして証明されている。本稿では, 多様な入力に適応する特徴を学習するために, モデルの拡張を目的とした新しい防御手法を提案する。このようにして、提案したDIOは、これらの相互直交経路によって学習された特徴を補正できるため、モデルを強化し、DNN自体の堅牢性を高める。
論文参考訳（メタデータ） (2020-10-23T06:40:56Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
On the Global Convergence of Training Deep Linear ResNets [104.76256863926629]
我々は、$L$-hidden-layer linear residual network(ResNets)のトレーニングのための勾配降下(GD)と勾配降下(SGD)の収束について検討する。入力層と出力層で一定の線形変換を施したディープ残差ネットワークのトレーニングを行う場合,GDとSGDは共に,トレーニング損失の最小限に収束できることを示す。
論文参考訳（メタデータ） (2020-03-02T18:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。