論文の概要: From Shallow Bayesian Neural Networks to Gaussian Processes: General Convergence, Identifiability and Scalable Inference

• arxiv url: http://arxiv.org/abs/2602.22492v1
• Date: Thu, 26 Feb 2026 00:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.451945
• Title: From Shallow Bayesian Neural Networks to Gaussian Processes: General Convergence, Identifiability and Scalable Inference
• Title（参考訳）: 浅ベイズニューラルネットワークからガウス過程へ:一般収束性、識別可能性、スケーラブル推論
• Authors: Gracielle Antunes de Araújo, Flávio B. Gonçalves,
• Abstract要約: ガウス過程(GP)への接続による浅ベイズニューラルネットワーク(BNN)のスケーリング限界について検討する。 まず, BNN から GP への一般収束結果を事前定式化に使用する仮定を緩和し, 限定GP モデルの代替パラメータ化を比較する。 入力設計において,正の定性や厳密かつ実用的な識別性を含む重要な特性を特徴付ける。 計算のために,Nystrm近似を用いた拡張性のある最大値(MAP)トレーニングと予測手法を開発し,Nystrmランクとアンカー選択がコスト-精度取引をどのように制御するかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study scaling limits of shallow Bayesian neural networks (BNNs) via their connection to Gaussian processes (GPs), with an emphasis on statistical modeling, identifiability, and scalable inference. We first establish a general convergence result from BNNs to GPs by relaxing assumptions used in prior formulations, and we compare alternative parameterizations of the limiting GP model. Building on this theory, we propose a new covariance function defined as a convex mixture of components induced by four widely used activation functions, and we characterize key properties including positive definiteness and both strict and practical identifiability under different input designs. For computation, we develop a scalable maximum a posterior (MAP) training and prediction procedure using a Nyström approximation, and we show how the Nyström rank and anchor selection control the cost-accuracy trade-off. Experiments on controlled simulations and real-world tabular datasets demonstrate stable hyperparameter estimates and competitive predictive performance at realistic computational cost.
• Abstract（参考訳）: 本研究では,ガウス過程(GP)への接続を通じて,浅ベイズニューラルネットワーク(BNN)のスケーリング限界について検討し,統計的モデリング,識別可能性,拡張性推論に着目した。 まず, BNN から GP への一般収束結果を事前定式化に使用する仮定を緩和し, 限定GP モデルの代替パラメータ化を比較する。 この理論に基づいて,4つの広く用いられているアクティベーション関数によって誘導される成分の凸混合として定義される新しい共分散関数を提案する。 計算のために,Nyström近似を用いて,スケーラブルな最大値(MAP)トレーニングと予測手順を開発し,Nyströmランクとアンカー選択がコスト-精度トレードオフを制御する方法を示す。 制御されたシミュレーションと実世界の表計算データセットの実験は、安定なハイパーパラメータ推定と現実的な計算コストでの競合予測性能を示す。

関連論文リスト

• Kolmogorov Arnold Networks and Multi-Layer Perceptrons: A Paradigm Shift in Neural Modelling [1.6998720690708842]
  Kolmogorov-Arnold Networks(KAN)とMulti-Layer Perceptrons(MLP)の総合的比較分析を行った。 Kansはスプラインベースのアクティベーション機能とグリッドベースの構造を利用し、従来のニューラルネットワークフレームワークと比較して変革的なアプローチを提供する。 本研究は,先進的なインテリジェントシステムにおけるkansの変換能力について述べる。
  論文  参考訳（メタデータ） (2026-01-15T16:26:49Z)
• Interpretable Neural Approximation of Stochastic Reaction Dynamics with Guaranteed Reliability [4.736119820998459]
  我々は,解釈可能性,信頼性保証,実質的な計算ゲインを実現するニューラルネットワークフレームワークであるDeepSKAを紹介する。 DeepSKAは、状態、時間、出力関数にまたがって一般化する数学的に透明な表現を生成し、この構造を少数のシミュレーションと統合し、古典的モンテカルロよりも非バイアスで、確率的に収束し、劇的に低いマグニチュード推定を生成する。
  論文  参考訳（メタデータ） (2025-12-06T04:45:31Z)
• Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective [0.0]
  勾配降下(SGD)は機械学習(ML)における最も基本的な最適化アルゴリズムの1つである。 この方程式から導かれる準定常分布とクルバック・リーブラー(KL)の発散による初期分布の関係について検討する。 MNISTおよびFashion-MNISTデータセット上で、古典的なSGDを用いて完全に接続されたニューラルネットワークをトレーニングすることにより、理論的結果を実験的に確認する。
  論文  参考訳（メタデータ） (2025-08-18T11:18:12Z)
• Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks [100.13335639780415]
  スケーリング法則は、しばしばパワーローに従っており、より大きなスケールでのスケーリングの振る舞いを予測するために、パワーロー関数のいくつかの変種を提案した。 既存の手法は主に点推定に依存しており、現実のアプリケーションにとって欠かせない不確実性を定量化しない。 本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。
  論文  参考訳（メタデータ） (2025-05-29T03:19:17Z)
• NBMLSS: probabilistic forecasting of electricity prices via Neural Basis Models for Location Scale and Shape [44.99833362998488]
  我々は、GAMLSSの原理的解釈可能性と、計算にスケーラブルな共有基底分解をブレンドした、位置、スケール、形状のためのニューラル基底モデルをデプロイする。 複数の市場領域で実験が行われ、分布型ニューラルネットワークに匹敵する確率論的予測性能を達成した。
  論文  参考訳（メタデータ） (2024-11-21T08:17:53Z)
• Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
  本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。 また、局所的な一貫性の結果に基づいた理論的保証も提供する。 この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
  論文  参考訳（メタデータ） (2022-11-17T15:48:06Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。