論文の概要: Optimal Learning of Deep Random Networks of Extensive-width
- arxiv url: http://arxiv.org/abs/2302.00375v1
- Date: Wed, 1 Feb 2023 11:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 13:06:26.494843
- Title: Optimal Learning of Deep Random Networks of Extensive-width
- Title（参考訳）: 広帯域深部ランダムネットワークの最適学習
- Authors: Hugo Cui, Florent Krzakala, Lenka Zdeborov\'a
- Abstract要約: ベイズ最適テスト誤差に対して回帰および分類タスクのための閉形式式を導出する。
数値的に、サンプルの数が次元よりも早く増加すると、リッジ法とカーネル法は最適以下になるが、ニューラルネットワークは2次的に多くのサンプルからゼロに近いテスト誤差を達成する。
- 参考スコア（独自算出の注目度）: 22.640648403570957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of learning a target function corresponding to a
deep, extensive-width, non-linear neural network with random Gaussian weights.
We consider the asymptotic limit where the number of samples, the input
dimension and the network width are proportionally large. We derive a
closed-form expression for the Bayes-optimal test error, for regression and
classification tasks. We contrast these Bayes-optimal errors with the test
errors of ridge regression, kernel and random features regression. We find, in
particular, that optimally regularized ridge regression, as well as kernel
regression, achieve Bayes-optimal performances, while the logistic loss yields
a near-optimal test error for classification. We further show numerically that
when the number of samples grows faster than the dimension, ridge and kernel
methods become suboptimal, while neural networks achieve test error close to
zero from quadratically many samples.
- Abstract（参考訳）: 本研究では,ランダムなガウス重みを持つ広帯域非線形ニューラルネットワークに対応する対象関数を学習する問題を考察する。
サンプル数,入力寸法,ネットワーク幅が比例的に大きい漸近限界を考える。
ベイズ最適テスト誤差に対して回帰および分類タスクのための閉形式式を導出する。
これらのベイズ最適誤差は、リッジ回帰、カーネル、ランダム特徴回帰のテスト誤差と対比する。
特に、最適化されたリッジ回帰とカーネル回帰がベイズ最適性能を達成するのに対して、ロジスティック損失は分類のほぼ最適誤差をもたらす。
さらに,標本数の増加が次元よりも早くなるとリッジ法とカーネル法が最適となり,一方,ニューラルネットワークでは2倍数のサンプルからゼロに近いテスト誤差が得られることを示した。
関連論文リスト
- Sharper Guarantees for Learning Neural Network Classifiers with Gradient Methods [43.32546195968771]
本研究では,スムーズなアクティベーションを有するニューラルネットワークに対する勾配法におけるデータ依存収束と一般化挙動について検討する。
我々の結果は、よく確立されたRadecher複雑性に基づく境界の欠点を改善した。
XOR分布の分類において、NTK体制の結果に対して大きなステップサイズが大幅に改善されることが示されている。
論文 参考訳（メタデータ） (2024-10-13T21:49:29Z) - Bayes-optimal learning of an extensive-width neural network from quadratically many samples [28.315491743569897]
本研究では,単一層ニューラルネットワークに対応する対象関数を学習する問題を考察する。
入力次元とネットワーク幅が比例的に大きい限界を考える。
論文 参考訳（メタデータ） (2024-08-07T12:41:56Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳（メタデータ） (2023-06-29T10:13:36Z) - Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。
崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。
提案手法は, スケーラビリティと精度のバランスをとる。
論文 参考訳（メタデータ） (2023-06-16T08:34:42Z) - Nonparametric regression using over-parameterized shallow ReLU neural networks [10.339057554827392]
ニューラルネットワークは、ある滑らかな関数クラスから関数を学習するために、最小収束率(対数係数まで)を達成することができることを示す。
回帰関数は、滑らかな$alpha(d+3)/2$あるいは浅いニューラルネットワークに対応する変分空間を持つH"古い空間から来ていると仮定される。
副産物として、浅いReLUニューラルネットワークの局所ラデマッハ複雑性に対する新しいサイズ非依存境界を導出する。
論文 参考訳（メタデータ） (2023-06-14T07:42:37Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。