論文の概要: Why Robust Generalization in Deep Learning is Difficult: Perspective of
Expressive Power
- arxiv url: http://arxiv.org/abs/2205.13863v1
- Date: Fri, 27 May 2022 09:53:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 12:20:41.230749
- Title: Why Robust Generalization in Deep Learning is Difficult: Perspective of
Expressive Power
- Title（参考訳）: ディープラーニングにおけるロバストな一般化は難しい:表現力の視点
- Authors: Binghui Li, Jikai Jin, Han Zhong, John E. Hopcroft, Liwei Wang
- Abstract要約: その結果, ニューラルネットワークのサイズが指数関数的でない限り, 分割されたデータの二項分類問題に対して, 一定の頑健な一般化ギャップが存在することがわかった。
ネットワークサイズに対して$exp(mathcalO(k))$を改良し、低ロバストな一般化誤差を実現する。
- 参考スコア（独自算出の注目度）: 15.210336733607488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well-known that modern neural networks are vulnerable to adversarial
examples. To mitigate this problem, a series of robust learning algorithms have
been proposed. However, although the robust training error can be near zero via
some methods, all existing algorithms lead to a high robust generalization
error. In this paper, we provide a theoretical understanding of this puzzling
phenomenon from the perspective of expressive power for deep neural networks.
Specifically, for binary classification problems with well-separated data, we
show that, for ReLU networks, while mild over-parameterization is sufficient
for high robust training accuracy, there exists a constant robust
generalization gap unless the size of the neural network is exponential in the
data dimension $d$. Even if the data is linear separable, which means achieving
low clean generalization error is easy, we can still prove an
$\exp({\Omega}(d))$ lower bound for robust generalization. Moreover, we
establish an improved upper bound of $\exp({\mathcal{O}}(k))$ for the network
size to achieve low robust generalization error when the data lies on a
manifold with intrinsic dimension $k$ ($k \ll d$). Nonetheless, we also have a
lower bound that grows exponentially with respect to $k$ -- the curse of
dimensionality is inevitable. By demonstrating an exponential separation
between the network size for achieving low robust training and generalization
error, our results reveal that the hardness of robust generalization may stem
from the expressive power of practical models.
- Abstract（参考訳）: 現代のニューラルネットワークが敵の例に弱いことはよく知られている。
この問題を解決するために、ロバストな学習アルゴリズムが提案されている。
しかしながら、ロバストなトレーニングエラーはいくつかの手法によってほぼゼロに近いが、既存のアルゴリズムはすべて高いロバストな一般化誤差をもたらす。
本稿では,深層ニューラルネットワークの表現力の観点から,このパズリング現象を理論的に理解する。
具体的には、よく分離されたデータを持つバイナリ分類問題に対して、ReLUネットワークでは、穏やかな過パラメータ化が高い堅牢なトレーニング精度に十分である一方で、ニューラルネットワークのサイズがデータ次元$d$で指数的である限り、一定の堅牢な一般化ギャップが存在することを示す。
データが線形分離可能であったとしても、クリーンな一般化誤差の低減は容易であり、ロバストな一般化のために$\exp({\omega}(d))$ の上限を証明できる。
さらに、本質次元$k$ (k \ll d$) の多様体上に存在するデータに対して、ネットワークサイズが低ロバストな一般化誤差を達成するために、改良された$\exp({\mathcal{o}}(k))$ の上限を設定する。
それでもなお、$k$に関して指数関数的に増加する低い境界がある -- 次元性の呪いは避けられない。
低ロバストトレーニングと一般化誤差を達成するためにネットワークサイズを指数関数的に分離することにより、ロバストな一般化の硬さは実用モデルの表現力から生じる可能性があることを示す。
関連論文リスト
- On Generalization Bounds for Deep Compound Gaussian Neural Networks [1.4425878137951238]
Unrolled Deep Neural Network(DNN)は、標準的なDNNよりも優れた解釈性と優れた経験的パフォーマンスを提供する。
本稿では,複合ガウス事前情報に基づく非学習型DNNのクラスに対する新しい一般化誤差境界を開発する。
現実的な条件下では、最悪の場合、一般化誤差は信号次元で$mathcalO(nsqrt(n))$、ネットワークサイズで$mathcalO(($Network Size$)3/2)$である。
論文 参考訳（メタデータ） (2024-02-20T16:01:39Z) - Can overfitted deep neural networks in adversarial training generalize?
-- An approximation viewpoint [25.32729343174394]
敵対的摂動に対するディープニューラルネットワーク(DNN)の堅牢性を改善するために広く用いられている手法である。
本稿では,逆行訓練における過剰適合DNNが近似的視点から一般化できるかどうかを理論的に理解する。
論文 参考訳（メタデータ） (2024-01-24T17:54:55Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Learning Non-Vacuous Generalization Bounds from Optimization [8.294831479902658]
最適化の観点からは、単純だが空でない一般化を示す。
我々は、勾配アルゴリズムによってアクセスされた仮説セットが本質的にフラクタル的であることを利用して、この目標を達成する。
数値解析により,現代のニューラルネットワークにおいて,本手法が有意な一般化を保証することが実証された。
論文 参考訳（メタデータ） (2022-06-09T08:59:46Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Compressive Sensing and Neural Networks from a Statistical Learning
Perspective [4.561032960211816]
線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。
現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
論文 参考訳（メタデータ） (2020-10-29T15:05:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。