論文の概要: Bayesian Inference with Shaped Deep Non-linear MLPs

• arxiv url: http://arxiv.org/abs/2605.30860v1
• Date: Fri, 29 May 2026 05:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.404224
• Title: Bayesian Inference with Shaped Deep Non-linear MLPs
• Title（参考訳）: 形状の深い非線形MLPによるベイズ推論
• Abstract要約: ディープラーニング理論の中心的な目的は、ニューラルネットワークが巨大なモデルとトレーニングセットのサイズを同時に予測する方法を特徴付けることである。 本研究では,これらの問題に対して,深い非線形次元におけるベイズ的推論を研究することによって,新たな光を当てる。 我々は,ネットワーク深度に有効な役割を担い,$LP/Nin(1)$の政権下での予測後部を解析するために,Neural Covariance SDE(Li et al., 2022)を構築した。
• 参考スコア（独自算出の注目度）: 10.38970159509892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central aim of deep learning theory is to characterize how neural networks make predictions in the regime of simultaneously large model and training set size. Since the limits of diverging number of model parameters and dataset size do not commute it is not clear a priori what limits exist. In this work, we shed new light on these questions by studying Bayesian inference in deep non-linear MLPs in the regime where the number of training samples ($P$), the input dimension ($N_0$), the hidden layer width ($N$), and the number of hidden layers ($L$) can all be large. We build on the Neural Covariance SDE (Li et al., 2022) to analyze predictive posteriors in the regime where $LP/N\inΘ(1)$, playing the role of an effective network depth. Our framework covers both smooth and ReLU activation functions and applies to arbitrary temperature. We find to first order in $LP/N$ a simple criterion for which data generating processes benefit from depth in the sense that larger $LP/N$ increases the Bayesian model evidence. We also give a novel derivation of a prior result from the physics literature that at least to first order in $LP/N$, the Bayesian predictive posterior is remarkably simple and is simply equivalent to that of a data-dependent kernel method.
• Abstract（参考訳）: ディープラーニング理論の中心的な目的は、ニューラルネットワークが巨大なモデルとトレーニングセットのサイズを同時に予測する方法を特徴付けることである。 モデルパラメータとデータセットのサイズのばらつきの限界は通勤しないので、どの制限が存在するかの優先順位は明確ではない。 本研究では, トレーニングサンプル数(P$), 入力寸法(N_0$), 隠蔽層幅(N$), 隠蔽層数(L$)がすべて大きい体制において, 深部非線形MLPにおけるベイズ推定を研究することによって, これらの疑問に新たな光を当てた。 我々は,Luar Covariance SDE (Li et al , 2022) を用いて,$LP/N\in'(1)$の予測後部を解析し,有効なネットワーク深度の役割を担っている。 本フレームワークはスムーズかつReLUアクティベーション機能の両方をカバーし,任意の温度に適応する。 我々は、データ生成プロセスが深みから恩恵を受ける単純な基準である$LP/N$において、より大きい$LP/N$がベイズモデルの証拠を増加させるという意味で、まずは$LP/N$で注文する。 我々はまた、少なくとも$LP/N$の1階目のベイズ予測後部は驚くほど単純であり、単にデータ依存のカーネル法と同値である、という物理学の文献から以前の結果の新たな導出を行う。

関連論文リスト

• Provable FDR Control for Deep Feature Selection: Deep MLPs and Beyond [0.0]
  深層ニューラルネットワークに基づくフレキシブルな特徴選択フレームワークを開発し,FDR(False discovery rate)を概ね制御する。 勾配に基づく特徴ベクトルの各座標は、限界正規近似を許容し、FDR制御の有効性を支持することを示す。
  論文  参考訳（メタデータ） (2025-12-04T11:46:06Z)
• Deep Neural Nets as Hamiltonians [9.883261192383612]
  ディープラーニング理論における多くの先行研究は、一連の入力の固定セットにおけるネットワーク出力の分布を分析する。 ランダムに多層パーセプトロン(MLP)をハミルトニアンとみなす。 ネットワークパラメータの典型的な実現法として、このハミルトニアンによって誘導されるエネルギー景観の特性について研究する。
  論文  参考訳（メタデータ） (2025-03-31T11:51:10Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Sharper Guarantees for Learning Neural Network Classifiers with Gradient Methods [43.32546195968771]
  本研究では,スムーズなアクティベーションを有するニューラルネットワークに対する勾配法におけるデータ依存収束と一般化挙動について検討する。 我々の結果は、よく確立されたRadecher複雑性に基づく境界の欠点を改善した。 XOR分布の分類において、NTK体制の結果に対して大きなステップサイズが大幅に改善されることが示されている。
  論文  参考訳（メタデータ） (2024-10-13T21:49:29Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。