論文の概要: Functional Stochastic Gradient MCMC for Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2409.16632v1
- Date: Wed, 25 Sep 2024 05:23:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 05:35:28.441717
- Title: Functional Stochastic Gradient MCMC for Bayesian Neural Networks
- Title（参考訳）: ベイズニューラルネットワークのための関数確率勾配MCMC
- Authors: Mengjing Wu, Junyu Xuan, Jie Lu,
- Abstract要約: 新たに設計された拡散力学による関数勾配モンテカルロスキームを提案する。
本研究では,機能的SGMCMCの精度と不確かさの両面において,有意なSGMCMCと機能的変分推定法と比較して優れた性能を示す。
- 参考スコア（独自算出の注目度）: 15.766590837199427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classical variational inference for Bayesian neural networks (BNNs) in parameter space usually suffers from unresolved prior issues such as knowledge encoding intractability and pathological behaviors in deep networks, which could lead to an improper posterior inference. Hence, functional variational inference has been proposed recently to resolve these issues via stochastic process priors. Beyond variational inference, stochastic gradient Markov Chain Monte Carlo (SGMCMC) is another scalable and effective inference method for BNNs to asymptotically generate samples from true posterior by simulating a continuous dynamic. However, the existing SGMCMC methods only work in parametric space, which has the same issues of parameter-space variational inference, and extending the parameter-space dynamics to function-space dynamics is not a trivial undertaking. In this paper, we introduce a new functional SGMCMC scheme via newly designed diffusion dynamics, which can incorporate more informative functional priors. Moreover, we prove that the stationary distribution of these functional dynamics is the target posterior distribution over functions. We demonstrate better performance in both accuracy and uncertainty quantification of our functional SGMCMC on several tasks compared with naive SGMCMC and functional variational inference methods.
- Abstract（参考訳）: パラメータ空間におけるベイズニューラルネットワーク(BNN)の古典的変分推論は、通常、深層ネットワークにおける難読性や病理的振る舞いを符号化する知識のような未解決の問題に悩まされ、不適切な後部推論につながる可能性がある。
したがって、関数的変動推論は、確率過程の先行によってこれらの問題を解くために最近提案されている。
変分推論以外にも、確率勾配マルコフ・チェイン・モンテカルロ(SGMCMC)は、連続力学をシミュレートすることでBNNが真の後方からのサンプルを漸近的に生成するスケーラブルで効果的な推論手法である。
しかし、既存のSGMCMC法はパラメータ空間の変動推論と同じ問題を持ち、パラメータ空間のダイナミクスを関数空間のダイナミクスに拡張するパラメトリック空間でしか機能しない。
本稿では,より情報的機能的先行を組み込んだ新しい拡散力学による機能的SGMCMC手法を提案する。
さらに,これらの関数力学の定常分布が関数上の対象後部分布であることを証明した。
本研究では,機能的SGMCMCの精度と不確かさの両面において,有意なSGMCMCと機能的変分推論法と比較して,いくつかのタスクにおいて優れた性能を示す。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Proximal Interacting Particle Langevin Algorithms [0.0]
本稿では,潜時変動モデルにおける推論と学習のためのPIPLAアルゴリズムを提案する。
非微分不可能な統計モデルにおけるパラメータ推定の問題に合わせた、新しい近位IPLAファミリー内のいくつかの変種を提案する。
我々の理論と実験は、PIPLAファミリーが非微分可能モデルの潜在変数モデルにおけるパラメータ推定問題のデファクト選択であることを示している。
論文 参考訳（メタデータ） (2024-06-20T13:16:41Z) - Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data [0.0]
我々は,「小さなデータ」体制下でのアクティブな学習タスクに対して,完全ベイズニューラルネットワーク(FBNN)を導入する。
FBNNは信頼性の高い予測分布を提供し、アクティブな学習環境における不確実性の下で情報的意思決定に不可欠である。
そこで我々は,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerを用いて,FBNNの適合性と性能を評価する。
論文 参考訳（メタデータ） (2024-05-16T05:20:47Z) - Variational Sampling of Temporal Trajectories [39.22854981703244]
遷移関数 $f$ を関数空間の要素として明示的にパラメータ化することにより、軌道の分布を学習する機構を導入する。
我々のフレームワークは、新しい軌道の効率的な合成を可能にすると同時に、推論に便利なツールを直接提供します。
論文 参考訳（メタデータ） (2024-03-18T02:12:12Z) - Deep Stochastic Processes via Functional Markov Transition Operators [59.55961312230447]
本稿では,ニューラルパラメータ化マルコフ遷移作用素の列を関数空間に重ねて構築した新しいプロセス群(SP)を紹介する。
これらのマルコフ遷移作用素は、SPの交換可能性と整合性を維持することができることを証明している。
論文 参考訳（メタデータ） (2023-05-24T21:15:23Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Scalable Stochastic Parametric Verification with Stochastic Variational
Smoothed Model Checking [1.5293427903448025]
平滑モデル検査 (smMC) は, パラメータ空間全体の満足度関数を, 限られた観測値から推定することを目的としている。
本稿では,確率論的機械学習の最近の進歩を利用して,この限界を推し進める。
構成された満足度関数のスケーラビリティ,計算効率,精度を調べた結果,smMCとSV-smMCの性能を比較した。
論文 参考訳（メタデータ） (2022-05-11T10:43:23Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳（メタデータ） (2021-11-26T06:33:29Z) - A New Representation of Successor Features for Transfer across
Dissimilar Environments [60.813074750879615]
多くの実世界のRL問題は、異なるダイナミクスを持つ環境間での移動を必要とする。
ガウス過程を用いて後継特徴関数をモデル化する手法を提案する。
我々の理論的解析は、この手法の収束と、後続特徴関数のモデル化における有界誤差を証明している。
論文 参考訳（メタデータ） (2021-07-18T12:37:05Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - Bayesian neural networks and dimensionality reduction [4.039245878626346]
そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。
VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。
潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
論文 参考訳（メタデータ） (2020-08-18T17:11:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。