論文の概要: Optimal Learning of Deep Random Networks of Extensive-width
- arxiv url: http://arxiv.org/abs/2302.00375v1
- Date: Wed, 1 Feb 2023 11:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 13:06:26.494843
- Title: Optimal Learning of Deep Random Networks of Extensive-width
- Title(参考訳): 広帯域深部ランダムネットワークの最適学習
- Authors: Hugo Cui, Florent Krzakala, Lenka Zdeborov\'a
- Abstract要約: ベイズ最適テスト誤差に対して回帰および分類タスクのための閉形式式を導出する。
数値的に、サンプルの数が次元よりも早く増加すると、リッジ法とカーネル法は最適以下になるが、ニューラルネットワークは2次的に多くのサンプルからゼロに近いテスト誤差を達成する。
- 参考スコア(独自算出の注目度): 22.640648403570957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of learning a target function corresponding to a
deep, extensive-width, non-linear neural network with random Gaussian weights.
We consider the asymptotic limit where the number of samples, the input
dimension and the network width are proportionally large. We derive a
closed-form expression for the Bayes-optimal test error, for regression and
classification tasks. We contrast these Bayes-optimal errors with the test
errors of ridge regression, kernel and random features regression. We find, in
particular, that optimally regularized ridge regression, as well as kernel
regression, achieve Bayes-optimal performances, while the logistic loss yields
a near-optimal test error for classification. We further show numerically that
when the number of samples grows faster than the dimension, ridge and kernel
methods become suboptimal, while neural networks achieve test error close to
zero from quadratically many samples.
- Abstract(参考訳): 本研究では,ランダムなガウス重みを持つ広帯域非線形ニューラルネットワークに対応する対象関数を学習する問題を考察する。
サンプル数,入力寸法,ネットワーク幅が比例的に大きい漸近限界を考える。
ベイズ最適テスト誤差に対して回帰および分類タスクのための閉形式式を導出する。
これらのベイズ最適誤差は、リッジ回帰、カーネル、ランダム特徴回帰のテスト誤差と対比する。
特に、最適化されたリッジ回帰とカーネル回帰がベイズ最適性能を達成するのに対して、ロジスティック損失は分類のほぼ最適誤差をもたらす。
さらに,標本数の増加が次元よりも早くなるとリッジ法とカーネル法が最適となり,一方,ニューラルネットワークでは2倍数のサンプルからゼロに近いテスト誤差が得られることを示した。
関連論文リスト
- Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳(メタデータ) (2023-06-29T10:13:36Z) - Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。
崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。
提案手法は, スケーラビリティと精度のバランスをとる。
論文 参考訳(メタデータ) (2023-06-16T08:34:42Z) - Nonparametric regression using over-parameterized shallow ReLU neural
networks [8.90065475905136]
ニューラルネットワークは、ある滑らかな関数クラスから関数を学習するために、最小収束率(対数係数まで)を達成することができることを示す。
回帰関数は、滑らかな$alpha(d+3)/2$あるいは浅いニューラルネットワークに対応する変分空間を持つH"古い空間から来ていると仮定される。
副産物として、浅いReLUニューラルネットワークの局所ラデマッハ複雑性に対する新しいサイズ非依存境界を導出する。
論文 参考訳(メタデータ) (2023-06-14T07:42:37Z) - Mind the spikes: Benign overfitting of kernels and neural networks in
fixed dimension [14.194212772887697]
推定器の滑らかさは次元ではなく、過度に適合する鍵であることが示される。
我々はその結果を広いニューラルネットワークに翻訳する。
我々の実験は、そのようなニューラルネットワークが過度に適合しているにもかかわらず、低次元のデータセットでも十分に一般化可能であることを検証した。
論文 参考訳(メタデータ) (2023-05-23T13:56:29Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳(メタデータ) (2021-03-15T16:16:18Z) - Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。
本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
論文 参考訳(メタデータ) (2020-09-21T14:46:01Z) - Measurement error models: from nonparametric methods to deep neural
networks [3.1798318618973362]
本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。
完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。
我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
論文 参考訳(メタデータ) (2020-07-15T06:05:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。