論文の概要: Langevin Monte-Carlo Provably Learns Depth Two Neural Nets at Any Size and Data

• arxiv url: http://arxiv.org/abs/2503.10428v1
• Date: Thu, 13 Mar 2025 14:50:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:50:39.863291
• Title: Langevin Monte-Carlo Provably Learns Depth Two Neural Nets at Any Size and Data
• Title（参考訳）: Langevin Monte-Carloはおそらく、あらゆるサイズとデータで2つのニューラルネットワークを学習する
• Authors: Dibyakanti Kumar, Samyak Jha, Anirbit Mukherjee,
• Abstract要約: 我々は,Langevin Monte-Carloアルゴリズムが任意のサイズおよび任意のデータに対してディープ2ニューラルネットを学習できることを確立する。 総変分距離とq-Renyiの発散により、ランゲヴィン・モンテカルロの反復体は、これらのネットのいずれかに対して正規化された損失のギブス分布に収束することを示す。
• 参考スコア（独自算出の注目度）: 0.3072340427031969
• License:
• Abstract: In this work, we will establish that the Langevin Monte-Carlo algorithm can learn depth-2 neural nets of any size and for any data and we give non-asymptotic convergence rates for it. We achieve this via showing that under Total Variation distance and q-Renyi divergence, the iterates of Langevin Monte Carlo converge to the Gibbs distribution of Frobenius norm regularized losses for any of these nets, when using smooth activations and in both classification and regression settings. Most critically, the amount of regularization needed for our results is independent of the size of the net. The key observation of ours is that two layer neural loss functions can always be regularized by a constant amount such that they satisfy the Villani conditions, and thus their Gibbs measures satisfy a Poincare inequality.
• Abstract（参考訳）: 本研究では,Langevin Monte-Carloアルゴリズムが任意のサイズおよび任意のデータに対してディープ2ニューラルネットを学習できることを確立し,非漸近収束率を与える。 総変分距離とq-Renyiの発散により、ランゲヴィン・モンテ・カルロの繰り返しは、これらのネットのいずれにおいても、スムーズなアクティベーションと分類と回帰設定を用いて、ギブス分布のフロベニウスの正規化損失に収束することを示す。 最も重要なのは、我々の結果に必要な正規化の量は、ネットのサイズとは無関係である。 我々の重要な観察は、2つの層ニューラルロス関数がビリャーニ条件を満たすように常に一定の量で正規化することができ、したがって彼らのギブズ測度がポインケアの不等式を満たすことである。

関連論文リスト

• Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
  本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。 最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
  論文  参考訳（メタデータ） (2024-10-08T16:54:23Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Fast Convergence in Learning Two-Layer Neural Networks with Separable Data [37.908159361149835]
  2層ニューラルネット上の正規化勾配勾配について検討した。 正規化GDを用いてトレーニング損失の線形収束率を大域的最適に導くことを証明する。
  論文  参考訳（メタデータ） (2023-05-22T20:30:10Z)
• Non-asymptotic analysis of Langevin-type Monte Carlo algorithms [0.0]
  連続性の有限モジュラーを持つギブス分布からサンプリングするランゲヴィン型アルゴリズムについて、必ずしも0に収束しない。 ランゲヴィン・モンテカルロアルゴリズムは、ポテンシャルが散逸し、勾配が一様連続である場合、ギブス分布を任意の精度で近似できることを示す。
  論文  参考訳（メタデータ） (2023-03-22T09:16:17Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Characteristics of Monte Carlo Dropout in Wide Neural Networks [16.639005039546745]
  モンテカルロ(MC)ドロップアウトはニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである 本研究では, 降雨時の広帯域NNの制限分布についてより厳密に検討し, 一定の重みと偏りの集合に対してガウス過程に収束することが証明された。 本研究では,(強く)相関したプレアクティベーションが,強相関重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。
  論文  参考訳（メタデータ） (2020-07-10T15:14:43Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)
• How Implicit Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part I: the 1-D Case of Two Layers with Random First Layer [5.969858080492586]
  重みをランダムに選択し、終端層のみをトレーニングする1次元(浅)ReLUニューラルネットワークを考える。 そのようなネットワークにおいて、L2-正則化回帰は関数空間において、かなり一般の損失汎関数に対する推定の第2微分を正則化するために対応することを示す。
  論文  参考訳（メタデータ） (2019-11-07T13:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。