論文の概要: Functional Stochastic Gradient MCMC for Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2409.16632v1
- Date: Wed, 25 Sep 2024 05:23:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 05:35:28.441717
- Title: Functional Stochastic Gradient MCMC for Bayesian Neural Networks
- Title(参考訳): ベイズニューラルネットワークのための関数確率勾配MCMC
- Authors: Mengjing Wu, Junyu Xuan, Jie Lu,
- Abstract要約: 新たに設計された拡散力学による関数勾配モンテカルロスキームを提案する。
本研究では,機能的SGMCMCの精度と不確かさの両面において,有意なSGMCMCと機能的変分推定法と比較して優れた性能を示す。
- 参考スコア(独自算出の注目度): 15.766590837199427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classical variational inference for Bayesian neural networks (BNNs) in parameter space usually suffers from unresolved prior issues such as knowledge encoding intractability and pathological behaviors in deep networks, which could lead to an improper posterior inference. Hence, functional variational inference has been proposed recently to resolve these issues via stochastic process priors. Beyond variational inference, stochastic gradient Markov Chain Monte Carlo (SGMCMC) is another scalable and effective inference method for BNNs to asymptotically generate samples from true posterior by simulating a continuous dynamic. However, the existing SGMCMC methods only work in parametric space, which has the same issues of parameter-space variational inference, and extending the parameter-space dynamics to function-space dynamics is not a trivial undertaking. In this paper, we introduce a new functional SGMCMC scheme via newly designed diffusion dynamics, which can incorporate more informative functional priors. Moreover, we prove that the stationary distribution of these functional dynamics is the target posterior distribution over functions. We demonstrate better performance in both accuracy and uncertainty quantification of our functional SGMCMC on several tasks compared with naive SGMCMC and functional variational inference methods.
- Abstract(参考訳): パラメータ空間におけるベイズニューラルネットワーク(BNN)の古典的変分推論は、通常、深層ネットワークにおける難読性や病理的振る舞いを符号化する知識のような未解決の問題に悩まされ、不適切な後部推論につながる可能性がある。
したがって、関数的変動推論は、確率過程の先行によってこれらの問題を解くために最近提案されている。
変分推論以外にも、確率勾配マルコフ・チェイン・モンテカルロ(SGMCMC)は、連続力学をシミュレートすることでBNNが真の後方からのサンプルを漸近的に生成するスケーラブルで効果的な推論手法である。
しかし、既存のSGMCMC法はパラメータ空間の変動推論と同じ問題を持ち、パラメータ空間のダイナミクスを関数空間のダイナミクスに拡張するパラメトリック空間でしか機能しない。
本稿では,より情報的機能的先行を組み込んだ新しい拡散力学による機能的SGMCMC手法を提案する。
さらに,これらの関数力学の定常分布が関数上の対象後部分布であることを証明した。
本研究では,機能的SGMCMCの精度と不確かさの両面において,有意なSGMCMCと機能的変分推論法と比較して,いくつかのタスクにおいて優れた性能を示す。
関連論文リスト
- Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data [0.0]
我々は,「小さなデータ」体制下でのアクティブな学習タスクに対して,完全ベイズニューラルネットワーク(FBNN)を導入する。
FBNNは信頼性の高い予測分布を提供し、アクティブな学習環境における不確実性の下で情報的意思決定に不可欠である。
そこで我々は,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerを用いて,FBNNの適合性と性能を評価する。
論文 参考訳(メタデータ) (2024-05-16T05:20:47Z) - Variational Sampling of Temporal Trajectories [39.22854981703244]
遷移関数 $f$ を関数空間の要素として明示的にパラメータ化することにより、軌道の分布を学習する機構を導入する。
我々のフレームワークは、新しい軌道の効率的な合成を可能にすると同時に、推論に便利なツールを直接提供します。
論文 参考訳(メタデータ) (2024-03-18T02:12:12Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳(メタデータ) (2023-12-10T15:22:30Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - Deep Stochastic Processes via Functional Markov Transition Operators [59.55961312230447]
本稿では,ニューラルパラメータ化マルコフ遷移作用素の列を関数空間に重ねて構築した新しいプロセス群(SP)を紹介する。
これらのマルコフ遷移作用素は、SPの交換可能性と整合性を維持することができることを証明している。
論文 参考訳(メタデータ) (2023-05-24T21:15:23Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-02-11T21:07:30Z) - Scalable Stochastic Parametric Verification with Stochastic Variational
Smoothed Model Checking [1.5293427903448025]
平滑モデル検査 (smMC) は, パラメータ空間全体の満足度関数を, 限られた観測値から推定することを目的としている。
本稿では,確率論的機械学習の最近の進歩を利用して,この限界を推し進める。
構成された満足度関数のスケーラビリティ,計算効率,精度を調べた結果,smMCとSV-smMCの性能を比較した。
論文 参考訳(メタデータ) (2022-05-11T10:43:23Z) - A New Representation of Successor Features for Transfer across
Dissimilar Environments [60.813074750879615]
多くの実世界のRL問題は、異なるダイナミクスを持つ環境間での移動を必要とする。
ガウス過程を用いて後継特徴関数をモデル化する手法を提案する。
我々の理論的解析は、この手法の収束と、後続特徴関数のモデル化における有界誤差を証明している。
論文 参考訳(メタデータ) (2021-07-18T12:37:05Z) - Quasi-symplectic Langevin Variational Autoencoder [7.443843354775884]
変分オートエンコーダ(VAE)は、ニューラルネットワーク研究において非常に人気があり、よく研究されている生成モデルである。
低分散証拠低境界(ELBO)構築の難しさに対処することが求められている。
論文 参考訳(メタデータ) (2020-09-02T12:13:27Z) - Theory of gating in recurrent neural networks [5.672132510411465]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、機械学習(ML)や神経科学で広く使われている強力な動的モデルである。
ここでは、ゲーティングが集合力学の2つの健全な特徴を柔軟に制御できることを示す。
ゲート制御の時間スケールは、ネットワークがフレキシブルインテグレータとして機能する、新しい、極端に安定な状態につながる。
論文 参考訳(メタデータ) (2020-07-29T13:20:58Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。