Fugu-MT 論文翻訳(概要): Student-t processes as infinite-width limits of posterior Bayesian neural networks

論文の概要: Student-t processes as infinite-width limits of posterior Bayesian neural networks

arxiv url: http://arxiv.org/abs/2502.04247v1
Date: Thu, 06 Feb 2025 17:37:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-07 14:33:27.941861
Title: Student-t processes as infinite-width limits of posterior Bayesian neural networks
Title（参考訳）: 後ベイズニューラルネットワークの無限幅限界としての学生-t過程
Authors: Francesco Caporali, Stefano Favaro, Dario Trevisan,
Abstract要約: 後部BNNは、モデリングの不確実性をより柔軟にする学生Tプロセスによって近似できることを示す。我々の証明は、ワッサーシュタイン計量を利用して、学生-t過程近似の収束率の制御を確立する。
参考スコア（独自算出の注目度）: 7.080037828515894
License:
Abstract: The asymptotic properties of Bayesian Neural Networks (BNNs) have been extensively studied, particularly regarding their approximations by Gaussian processes in the infinite-width limit. We extend these results by showing that posterior BNNs can be approximated by Student-t processes, which offer greater flexibility in modeling uncertainty. Specifically, we show that, if the parameters of a BNN follow a Gaussian prior distribution, and the variance of both the last hidden layer and the Gaussian likelihood function follows an Inverse-Gamma prior distribution, then the resulting posterior BNN converges to a Student-t process in the infinite-width limit. Our proof leverages the Wasserstein metric to establish control over the convergence rate of the Student-t process approximation.
Abstract（参考訳）: ベイズニューラルネットワーク(BNN)の漸近特性は、特に無限幅極限におけるガウス過程による近似について広く研究されている。モデリングの不確実性をより柔軟にする学生Tプロセスにより,後部BNNを近似できることを示すことにより,これらの結果を拡張した。具体的には、BNNのパラメータがガウス的事前分布に従い、最後の隠蔽層とガウス的可能性関数のばらつきが逆ガンマ的事前分布に従えば、結果として得られる後続のBNNは無限幅極限において学生-t過程に収束することを示す。我々の証明は、ワッサーシュタイン計量を利用して、学生-t過程近似の収束率の制御を確立する。

関連論文リスト

Random ReLU Neural Networks as Non-Gaussian Processes [20.607307985674428]
線形単位活性化関数が整列されたランダムニューラルネットワークは、ガウス過程を適切に定義していないことを示す。副産物として、これらのネットワークは、衝動ホワイトノイズによって駆動される微分方程式の解であることを示す。
論文参考訳（メタデータ） (2024-05-16T16:28:11Z)
Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文参考訳（メタデータ） (2023-12-18T22:29:40Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
論文参考訳（メタデータ） (2022-10-13T09:01:58Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
Wide Mean-Field Bayesian Neural Networks Ignore the Data [29.050507540280922]
ネットワーク幅が大きい場合,平均場変動推定はデータのモデル化に完全に失敗することを示す。アクティベーション関数が奇数でない場合、最適近似後続関数は先行関数に従わなくてもよいことを示す。
論文参考訳（メタデータ） (2022-02-23T18:21:50Z)
Infinitely Wide Tensor Networks as Gaussian Process [1.7894377200944511]
本稿では、無限に広いネットワークとガウス過程の等価性を示す。我々は無限極限テンソルネットワークに対応するガウス過程を実装し、これらのモデルのサンプルパスをプロットする。
論文参考訳（メタデータ） (2021-01-07T02:29:15Z)
An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their Asymptotic Overconfidence [65.24701908364383]
ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。しかし、彼らから遠く離れたところでは、ReLUニューラルネットワーク(BNN)はいまだに不確実性を過小評価し過ぎている可能性がある。事前学習した任意のReLU BNNに対して,低コストでemphpost-hocを適用可能であることを示す。
論文参考訳（メタデータ） (2020-10-06T13:32:18Z)
Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文参考訳（メタデータ） (2020-07-11T22:10:52Z)
Characteristics of Monte Carlo Dropout in Wide Neural Networks [16.639005039546745]
モンテカルロ(MC)ドロップアウトはニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである本研究では, 降雨時の広帯域NNの制限分布についてより厳密に検討し, 一定の重みと偏りの集合に対してガウス過程に収束することが証明された。本研究では,(強く)相関したプレアクティベーションが,強相関重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。
論文参考訳（メタデータ） (2020-07-10T15:14:43Z)
Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
論文参考訳（メタデータ） (2020-06-18T13:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。