論文の概要: Beyond NNGP: Large Deviations and Feature Learning in Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2602.22925v1
• Date: Thu, 26 Feb 2026 12:15:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.676502
• Title: Beyond NNGP: Large Deviations and Feature Learning in Bayesian Neural Networks
• Title（参考訳）: NNGPを超えて:ベイジアンニューラルネットワークにおける大きな偏差と特徴学習
• Authors: Katerina Papagiannouli, Dario Trevisan, Giuseppe Pio Zitto,
• Abstract要約: 大偏差理論は、予測子に対する明示的な変動目標-レート関数を与える。 後続出力率関数は,予測器と内部カーネルとの協調最適化により得られることを示す。
• 参考スコア（独自算出の注目度）: 1.1470070927586018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study wide Bayesian neural networks focusing on the rare but statistically dominant fluctuations that govern posterior concentration, beyond Gaussian-process limits. Large-deviation theory provides explicit variational objectives-rate functions-on predictors, providing an emerging notion of complexity and feature learning directly at the functional level. We show that the posterior output rate function is obtained by a joint optimization over predictors and internal kernels, in contrast with fixed-kernel (NNGP) theory. Numerical experiments demonstrate that the resulting predictions accurately describe finite-width behavior for moderately sized networks, capturing non-Gaussian tails, posterior deformation, and data-dependent kernel selection effects.
• Abstract（参考訳）: 本研究では,ガウス過程限界を超えて,後部濃度を支配下に置く稀だが統計的に支配的なゆらぎに着目したベイズニューラルネットワークについて検討した。 大偏差理論は、予測子に対する明示的な変動目標-レート関数を提供し、関数レベルでの複雑性と特徴学習の新たな概念を提供する。 固定カーネル (NNGP) 理論とは対照的に, 後続出力率関数は予測器と内部カーネルとの協調最適化により得られることを示す。 数値実験により、得られた予測は、中程度の大きさのネットワークに対する有限幅の挙動を正確に記述し、非ガウスの尾部、後部変形、およびデータ依存のカーネル選択効果をキャプチャすることを示した。

関連論文リスト

• From Shallow Bayesian Neural Networks to Gaussian Processes: General Convergence, Identifiability and Scalable Inference [0.0]
  ガウス過程(GP)への接続による浅ベイズニューラルネットワーク(BNN)のスケーリング限界について検討する。 まず, BNN から GP への一般収束結果を事前定式化に使用する仮定を緩和し, 限定GP モデルの代替パラメータ化を比較する。 入力設計において,正の定性や厳密かつ実用的な識別性を含む重要な特性を特徴付ける。 計算のために,Nystrm近似を用いた拡張性のある最大値(MAP)トレーニングと予測手法を開発し,Nystrmランクとアンカー選択がコスト-精度取引をどのように制御するかを示す。
  論文  参考訳（メタデータ） (2026-02-26T00:02:54Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Bayesian inference with finitely wide neural networks [0.4568777157687961]
  確率的ニューラルネットワークから出力の有限集合をモデル化するために,微分形式の非ガウス分布を提案する。 ベイズ回帰課題における非ガウス的後部分布を導出できる。
  論文  参考訳（メタデータ） (2023-03-06T03:25:30Z)
• Training Sparse Neural Network by Constraining Synaptic Weight on Unit Lp Sphere [2.429910016019183]
  単位 Lp-球面上のシナプス重みを制約することにより、p で空間を柔軟に制御することができる。 このアプローチは、幅広いドメインをカバーするベンチマークデータセットの実験によって検証されます。
  論文  参考訳（メタデータ） (2021-03-30T01:02:31Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Characteristics of Monte Carlo Dropout in Wide Neural Networks [16.639005039546745]
  モンテカルロ(MC)ドロップアウトはニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである 本研究では, 降雨時の広帯域NNの制限分布についてより厳密に検討し, 一定の重みと偏りの集合に対してガウス過程に収束することが証明された。 本研究では,(強く)相関したプレアクティベーションが,強相関重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。
  論文  参考訳（メタデータ） (2020-07-10T15:14:43Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。