論文の概要: Bayes-optimal learning of an extensive-width neural network from quadratically many samples
- arxiv url: http://arxiv.org/abs/2408.03733v1
- Date: Wed, 7 Aug 2024 12:41:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 13:04:22.995440
- Title: Bayes-optimal learning of an extensive-width neural network from quadratically many samples
- Title（参考訳）: 4つの標本から得られた広帯域ニューラルネットワークのベイズ最適学習
- Authors: Antoine Maillard, Emanuele Troiani, Simon Martin, Florent Krzakala, Lenka Zdeborová,
- Abstract要約: 本研究では,単一層ニューラルネットワークに対応する対象関数を学習する問題を考察する。
入力次元とネットワーク幅が比例的に大きい限界を考える。
- 参考スコア（独自算出の注目度）: 28.315491743569897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of learning a target function corresponding to a single hidden layer neural network, with a quadratic activation function after the first layer, and random weights. We consider the asymptotic limit where the input dimension and the network width are proportionally large. Recent work [Cui & al '23] established that linear regression provides Bayes-optimal test error to learn such a function when the number of available samples is only linear in the dimension. That work stressed the open challenge of theoretically analyzing the optimal test error in the more interesting regime where the number of samples is quadratic in the dimension. In this paper, we solve this challenge for quadratic activations and derive a closed-form expression for the Bayes-optimal test error. We also provide an algorithm, that we call GAMP-RIE, which combines approximate message passing with rotationally invariant matrix denoising, and that asymptotically achieves the optimal performance. Technically, our result is enabled by establishing a link with recent works on optimal denoising of extensive-rank matrices and on the ellipsoid fitting problem. We further show empirically that, in the absence of noise, randomly-initialized gradient descent seems to sample the space of weights, leading to zero training loss, and averaging over initialization leads to a test error equal to the Bayes-optimal one.
- Abstract（参考訳）: 本研究では,1層目以降の2次活性化関数とランダム重みを持つ,単一の隠れ層ニューラルネットワークに対応する対象関数を学習する問題を考察する。
入力次元とネットワーク幅が比例的に大きい漸近限界を考える。
最近の研究[Cui & al '23] は、線形回帰がベイズ最適テスト誤差を与え、利用可能なサンプルの数が次元において線型であるときにそのような関数を学習することを示した。
この研究は、標本の数が2次であるより興味深い状態において、最適試験誤差を理論的に解析するというオープンな課題を強調した。
本稿では,この2次活性化の課題を解決し,ベイズ最適テスト誤差に対する閉形式式を導出する。
また、近似メッセージパッシングと回転不変行列デノイングを組み合わせたGAMP-RIEというアルゴリズムも提供し、漸近的に最適な性能を実現する。
技術的には,近年の大規模行列の最適 denoising と楕円体フィッティング問題との関連性を確立した。
さらに、ノイズがない場合、ランダムに初期化勾配降下が重みの空間をサンプリングし、トレーニング損失をゼロにし、初期化よりも平均化するとベイズ最適値に等しいテスト誤差が生じることを実証的に示す。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Sharper Guarantees for Learning Neural Network Classifiers with Gradient Methods [43.32546195968771]
本研究では,スムーズなアクティベーションを有するニューラルネットワークに対する勾配法におけるデータ依存収束と一般化挙動について検討する。
我々の結果は、よく確立されたRadecher複雑性に基づく境界の欠点を改善した。
XOR分布の分類において、NTK体制の結果に対して大きなステップサイズが大幅に改善されることが示されている。
論文 参考訳（メタデータ） (2024-10-13T21:49:29Z) - A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。
提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
論文 参考訳（メタデータ） (2024-09-07T06:37:23Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Bayes-optimal Learning of Deep Random Networks of Extensive-width [22.640648403570957]
ランダムなガウス重みを持つディープで広範で非線形なニューラルネットワークに対応する対象関数を学習する問題を考察する。
我々は、リッジ回帰、カーネル、ランダム特徴回帰のテストエラーに対するクローズドフォーム式を計算した。
数値的に、サンプルの数が次元よりも早く増加すると、リッジ法とカーネル法は最適以下になるが、ニューラルネットワークは2次的に多くのサンプルからゼロに近いテスト誤差を達成する。
論文 参考訳（メタデータ） (2023-02-01T11:14:08Z) - A Neural Network Warm-Start Approach for the Inverse Acoustic Obstacle
Scattering Problem [7.624866197576227]
本稿では,逆散乱問題の解法として,ニューラルネットワークのウォームスタート手法を提案する。
トレーニングされたニューラルネットワークを用いて最適化問題の初期推定を求める。
このアルゴリズムは散乱場の測定においてノイズに対して頑健であり、また限られた開口データに対して真の解に収束する。
論文 参考訳（メタデータ） (2022-12-16T22:18:48Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
低ランクニューラルネットワークの学習アルゴリズムについて検討する。
単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。
低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-02T01:08:29Z) - Error-Correcting Neural Networks for Two-Dimensional Curvature
Computation in the Level-Set Method [0.0]
本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。
我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
論文 参考訳（メタデータ） (2022-01-22T05:14:40Z) - Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。
我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
論文 参考訳（メタデータ） (2020-04-23T05:00:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。