論文の概要: Width-Robust Learnability in Mean-Field Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2607.05735v1
• Date: Tue, 07 Jul 2026 01:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.364372
• Title: Width-Robust Learnability in Mean-Field Bayesian Neural Networks
• Title（参考訳）: 平均場ベイズニューラルネットワークにおける幅ロバスト学習可能性
• Abstract要約: 本研究では,ベイジアンニューラルネットワークに対するこの問題を,平均場,あるいは重要な特徴学習,スケーリングで研究する。 中心となる量は減少エントロピー [s_infty(y,varepsilon)=limsup_N-frac1Nlog _N0(Lle varepsilon), ] 目標関数を表現するための集中的な事前コストである。
• 参考スコア（独自算出の注目度）: 0.08594140167290099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Infinite-width limits are a standard way to reason about neural networks, but it is not automatic that the limiting learner has the same complexity-theoretic inductive bias as large finite networks. We study this question for Bayesian neural networks at the mean-field, or critical feature-learning, scaling. The central quantity is the \emph{reduced entropy} \[ s_\infty(y,\varepsilon)=\limsup_N -\frac{1}{N}\log π_N^0(L\le \varepsilon), \] the intensive prior cost of representing a target function $y$ to population mean-squared error $\varepsilon$. Our main result is a width-robust learnability theorem. At fixed depth, a family of Boolean-cube targets is learnable from polynomially many samples at infinite width if and only if it is learnable at polynomial width, if and only if its reduced entropy is polynomially bounded. Equivalently, up to polynomial slack in accuracy, the Bayesian mean-field learner generalizes exactly on the targets that can be represented by polynomial-size networks. The forward direction is proved by a form of subsampling: from the infinitely many hidden neurons in the mean-field solution, one can select polynomially many representatives and still preserve the learned function on every input simultaneously. At the critical scaling this subsampling has both an ``active'' component, which keeps the data-dependent low-dimensional statistics, and a ``lazy'' component, which resamples the entropy-dominated directions from the prior. Thus the infinite-width mean-field limit gives a clean analytic description of learning without introducing spurious width-dependent generalization power.
• Abstract（参考訳）: 無限幅制限はニューラルネットワークを推論する標準的な方法であるが、制限学習者が大きな有限ネットワークと同じ複雑さ-理論的帰納バイアスを持つのは自動ではない。 本研究では,ベイジアンニューラルネットワークに対するこの問題を,平均場,あるいは重要な特徴学習,スケーリングで研究する。 中心となる量は \emph{reduced entropy} \[ s_\infty(y,\varepsilon)=\limsup_N -\frac{1}{N}\log π_N^0(L\le \varepsilon), \] 平均二乗誤差 $\varepsilon$ である。 我々の主な成果は、幅ロバストな学習可能性定理である。 固定深度では、ブールキューブ対象の族が無限の幅で多項式的に多くの標本から学習可能であり、多項式幅で学習可能であることと、その縮小エントロピーが多項式有界であることは同値である。 等しく、多項式スラックの精度まで、ベイズ平均場学習者は多項式サイズネットワークで表現できる対象を正確に一般化する。 平均場解における無限に多くの隠れたニューロンから、多項式的に多くの代表を選択でき、全ての入力で学習された関数を同時に保持することができる。 批判的なスケーリングでは、このサブサンプリングには、データ依存の低次元統計を保持する ``active'' コンポーネントと、エントロピーが支配する方向を前から再サンプリングする ``lazy'' コンポーネントの両方がある。 したがって、無限幅平均場限界は、突発的な幅依存の一般化力を導入することなく、学習のクリーンな解析的記述を与える。

関連論文リスト

• Uncertainty Quantification From Scaling Laws in Deep Neural Networks [0.0]
  機械学習の分析から不確かさを定量化することは、物理科学での使用に不可欠である。 平均$mu_mathcalL$と分散$sigma_mathcalL$を多層パーセプトロンのアンサンブルとして計算する。 我々は、MNIST分類、CIFAR分類、カロリーメータエネルギー回帰の3つの課題について、有限幅ネットワークの結果と経験的に比較した。
  論文  参考訳（メタデータ） (2025-03-07T21:15:11Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Quantitative CLTs in Deep Neural Networks [12.845031126178593]
  ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。 我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。 我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
  論文  参考訳（メタデータ） (2023-07-12T11:35:37Z)
• Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation [0.0]
  一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。 また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
  論文  参考訳（メタデータ） (2023-03-06T23:01:53Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Spectral Bias Outside the Training Set for Deep Networks in the Kernel Regime [0.0]
  ネットワークは、トレーニングセットだけでなく、入力空間全体にわたって、ニューラルネットワークの上位固有関数を学習するために偏りがあることが示される。 このバイアスはモデルアーキテクチャと入力分布のみに依存する。 我々は,漁業情報マトリックスの低効率な位置からの局所的な容量制御は理論的には未熟である,と結論づける。
  論文  参考訳（メタデータ） (2022-06-06T22:09:15Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。