論文の概要: Improve the Robustness and Accuracy of Deep Neural Network with
$L_{2,\infty}$ Normalization
- arxiv url: http://arxiv.org/abs/2010.04912v1
- Date: Sat, 10 Oct 2020 05:45:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 22:35:21.473492
- Title: Improve the Robustness and Accuracy of Deep Neural Network with
$L_{2,\infty}$ Normalization
- Title(参考訳): l_{2,\infty}$正規化によるディープニューラルネットワークのロバスト性と精度の向上
- Authors: Lijia Yu and Xiao-Shan Gao
- Abstract要約: ディープニューラルネットワーク(DNN)の堅牢性と精度は、$L_2,infty$正規化を導入することで向上した。
L_2,infty$正規化は、DNN関数のポリヘドロングラフの隣接する2つの面の間の大きな二面角をもたらすことが証明されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, the robustness and accuracy of the deep neural network (DNN)
was enhanced by introducing the $L_{2,\infty}$ normalization of the weight
matrices of the DNN with Relu as the activation function. It is proved that the
$L_{2,\infty}$ normalization leads to large dihedral angles between two
adjacent faces of the polyhedron graph of the DNN function and hence smoother
DNN functions, which reduces over-fitting. A measure is proposed for the
robustness of a classification DNN, which is the average radius of the maximal
robust spheres with the sample data as centers. A lower bound for the
robustness measure is given in terms of the $L_{2,\infty}$ norm. Finally, an
upper bound for the Rademacher complexity of DNN with $L_{2,\infty}$
normalization is given. An algorithm is given to train a DNN with the
$L_{2,\infty}$ normalization and experimental results are used to show that the
$L_{2,\infty}$ normalization is effective to improve the robustness and
accuracy.
- Abstract(参考訳): 本稿では,dnnの重み行列のl_{2,\infty}$正規化を活性化関数として導入することにより,ディープニューラルネットワーク(dnn)のロバスト性と精度を高めた。
L_{2,\infty}$正規化は、DNN関数のポリヘドロングラフの隣り合う2つの面の間の大きな二面角となり、したがってより滑らかなDNN関数となり、過剰な収差を減少させる。
サンプルデータを中心とする最大ロバスト球面の平均半径である分類DNNのロバスト性に関する尺度が提案されている。
ロバストネス測度に対する下界は、$L_{2,\infty}$ノルムで与えられる。
最後に、DNNのラデマッハ複雑性と$L_{2,\infty}$正規化の上限が与えられる。
L_{2,\infty}$正規化でDNNを訓練するアルゴリズムが与えられ、実験結果を用いて、$L_{2,\infty}$正規化がロバスト性と精度を向上させるために有効であることを示す。
関連論文リスト
- On Generalization Bounds for Deep Compound Gaussian Neural Networks [1.4425878137951238]
Unrolled Deep Neural Network(DNN)は、標準的なDNNよりも優れた解釈性と優れた経験的パフォーマンスを提供する。
本稿では,複合ガウス事前情報に基づく非学習型DNNのクラスに対する新しい一般化誤差境界を開発する。
現実的な条件下では、最悪の場合、一般化誤差は信号次元で$mathcalO(nsqrt(n))$、ネットワークサイズで$mathcalO(($Network Size$)3/2)$である。
論文 参考訳(メタデータ) (2024-02-20T16:01:39Z) - Sample Complexity of Neural Policy Mirror Descent for Policy
Optimization on Low-Dimensional Manifolds [75.51968172401394]
深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。
NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。
NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
論文 参考訳(メタデータ) (2023-09-25T07:31:22Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳(メタデータ) (2022-12-23T04:48:04Z) - Quasi-optimal $hp$-finite element refinements towards singularities via
deep neural network prediction [0.3149883354098941]
与えられた計算問題に対して準最適$hp$-refinementsを予測するために、ディープニューラルネットワークエキスパートを構築する方法を示す。
トレーニングには2グリッドパラダイムの自己適応型$hp$-FEMアルゴリズムを用いる。
自己適応型$hp$-FEMによる指数収束は、適切に訓練されたDNN専門家と改良を続ければ維持できることを示す。
論文 参考訳(メタデータ) (2022-09-13T09:45:57Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳(メタデータ) (2022-06-26T06:51:31Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-02-23T02:39:04Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳(メタデータ) (2021-06-04T17:52:50Z) - Approximating smooth functions by deep neural networks with sigmoid
activation function [0.0]
我々は,シグモイド活性化機能を持つディープニューラルネットワーク(DNN)のパワーについて検討した。
固定深度と幅が$Md$で近似レートが$M-2p$であることを示す。
論文 参考訳(メタデータ) (2020-10-08T07:29:31Z) - Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。
正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。
ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文 参考訳(メタデータ) (2020-02-22T21:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。