Fugu-MT 論文翻訳(概要): Can Shallow Neural Networks Beat the Curse of Dimensionality? A mean field training perspective

論文の概要: Can Shallow Neural Networks Beat the Curse of Dimensionality? A mean field training perspective

arxiv url: http://arxiv.org/abs/2005.10815v1
Date: Thu, 21 May 2020 17:50:15 GMT
ステータス: 処理完了
システム内更新日: 2022-11-30 23:01:51.708456
Title: Can Shallow Neural Networks Beat the Curse of Dimensionality? A mean field training perspective
Title（参考訳）: 浅いニューラルネットワークは次元の呪いに勝てるのか? 平均的フィールドトレーニング視点
Authors: Stephan Wojtowytsch and Weinan E
Abstract要約: 経験的あるいは集団的リスクに対する2層ニューラルネットワークの勾配降下訓練は、平均場スケーリングの下では、$t-4/(d-2)$より早く集団リスクを減少させることはできない。一般リプシッツ目標関数を用いた勾配降下訓練は次元が大きくなるにつれて遅くなるが、ターゲット関数が2層ReLUネットワークの自然関数空間にあるとき、すべての次元でほぼ同じ速度で収束することを示す。
参考スコア（独自算出の注目度）: 8.160343645537106
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We prove that the gradient descent training of a two-layer neural network on empirical or population risk may not decrease population risk at an order faster than $t^{-4/(d-2)}$ under mean field scaling. Thus gradient descent training for fitting reasonably smooth, but truly high-dimensional data may be subject to the curse of dimensionality. We present numerical evidence that gradient descent training with general Lipschitz target functions becomes slower and slower as the dimension increases, but converges at approximately the same rate in all dimensions when the target function lies in the natural function space for two-layer ReLU networks.
Abstract（参考訳）: 実験的・集団的リスクに対する2層ニューラルネットワークの勾配降下訓練は,平均場スケールで$t^{-4/(d-2)}$よりも早い順に人口リスクを減少させることはない。したがって、適度に滑らかだが、真の高次元データは次元性の呪いの対象となる可能性がある。一般リプシッツ対象関数を用いた勾配降下訓練は、次元が増加するにつれて遅くなるが、対象関数が2層reluネットワークの自然関数空間にある場合、全ての次元においてほぼ同じ速度で収束することを示す。

関連論文リスト

A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
論文参考訳（メタデータ） (2023-10-29T08:47:48Z)
The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文参考訳（メタデータ） (2023-06-30T09:17:39Z)
Adversarial Examples Exist in Two-Layer ReLU Networks for Low Dimensional Linear Subspaces [24.43191276129614]
標準手法が非ロバストニューラルネットワークに繋がることを示す。トレーニングアルゴリズムのスケールを縮小させるか、あるいは$L$正規化を加えることで、トレーニングされたネットワークが敵の摂動に対してより堅牢になることを示す。
論文参考訳（メタデータ） (2023-03-01T19:10:05Z)
Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文参考訳（メタデータ） (2022-12-05T14:47:52Z)
When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work [59.29606307518154]
幅が$m geq 2n/d$($d$は入力次元)である限り、その表現性は強く、すなわち、訓練損失がゼロの少なくとも1つの大域最小化器が存在することを示す。また、実現可能な領域がよい局所領域であるような制約付き最適化の定式化も検討し、すべてのKKT点がほぼ大域最小値であることを示す。
論文参考訳（メタデータ） (2022-10-21T14:41:26Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
論文参考訳（メタデータ） (2020-02-11T15:42:09Z)
How Implicit Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part I: the 1-D Case of Two Layers with Random First Layer [5.969858080492586]
重みをランダムに選択し、終端層のみをトレーニングする1次元(浅)ReLUニューラルネットワークを考える。そのようなネットワークにおいて、L2-正則化回帰は関数空間において、かなり一般の損失汎関数に対する推定の第2微分を正則化するために対応することを示す。
論文参考訳（メタデータ） (2019-11-07T13:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。