論文の概要: Functional Stochastic Gradient MCMC for Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2409.16632v2
• Date: Thu, 10 Oct 2024 04:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 17:30:16.675500
• Title: Functional Stochastic Gradient MCMC for Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークのための関数確率勾配MCMC
• Authors: Mengjing Wu, Junyu Xuan, Jie Lu,
• Abstract要約: 本稿では,より情報に富む事前を組み込むことのできる勾配版を含む,新しい機能的MCMCスキームを提案する。 提案手法は,複数のタスクにおける予測精度と不確実性の両方において,性能の向上を実証する。
• 参考スコア（独自算出の注目度）: 15.766590837199427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classical parameter-space Bayesian inference for Bayesian neural networks (BNNs) suffers from several unresolved prior issues, such as knowledge encoding intractability and pathological behaviours in deep networks, which can lead to improper posterior inference. To address these issues, functional Bayesian inference has recently been proposed leveraging functional priors, such as the emerging functional variational inference. In addition to variational methods, stochastic gradient Markov Chain Monte Carlo (MCMC) is another scalable and effective inference method for BNNs to asymptotically generate samples from the true posterior by simulating continuous dynamics. However, existing MCMC methods perform solely in parameter space and inherit the unresolved prior issues, while extending these dynamics to function space is a non-trivial undertaking. In this paper, we introduce novel functional MCMC schemes, including stochastic gradient versions, based on newly designed diffusion dynamics that can incorporate more informative functional priors. Moreover, we prove that the stationary measure of these functional dynamics is the target posterior over functions. Our functional MCMC schemes demonstrate improved performance in both predictive accuracy and uncertainty quantification on several tasks compared to naive parameter-space MCMC and functional variational inference.
• Abstract（参考訳）: ベイジアンニューラルネットワーク(BNN)に対する古典的パラメータ空間ベイジアン推論(英語版)は、深層ネットワークにおける難読性や病理学的振る舞いを符号化する知識など、未解決のいくつかの問題に悩まされ、不適切な後部推論につながる可能性がある。 これらの問題に対処するために、機能的ベイズ推論は、最近、機能的変動推論のような機能的先行性を活用することが提案されている。 変分法に加えて、確率勾配マルコフ・チェイン・モンテカルロ(MCMC)は、連続力学をシミュレートすることで、BNNが真の後方からサンプルを漸近的に生成するスケーラブルで効果的な推論法である。 しかし、既存のMCMC法はパラメータ空間でのみ実行し、未解決の事前問題を継承する一方で、これらのダイナミクスを関数空間に拡張することは自明な作業ではない。 本稿では,より情報的機能的先行を組み込んだ拡散力学に基づく確率勾配バージョンを含む,新しい機能的MCMCスキームを提案する。 さらに、これらの機能的力学の定常測度が対象の後方関数であることを示す。 機能的MCMCスキームでは, パラメータ空間MCMCと関数的変動推論と比較して, 予測精度と不確かさの両面において, 性能が向上した。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Proximal Interacting Particle Langevin Algorithms [0.0]
  本稿では,潜時変動モデルにおける推論と学習のためのPIPLAアルゴリズムを提案する。 非微分不可能な統計モデルにおけるパラメータ推定の問題に合わせた、新しい近位IPLAファミリー内のいくつかの変種を提案する。 我々の理論と実験は、PIPLAファミリーが非微分可能モデルの潜在変数モデルにおけるパラメータ推定問題のデファクト選択であることを示している。
  論文  参考訳（メタデータ） (2024-06-20T13:16:41Z)
• Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data [0.0]
  我々は,「小さなデータ」体制下でのアクティブな学習タスクに対して,完全ベイズニューラルネットワーク(FBNN)を導入する。 FBNNは信頼性の高い予測分布を提供し、アクティブな学習環境における不確実性の下で情報的意思決定に不可欠である。 そこで我々は,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerを用いて,FBNNの適合性と性能を評価する。
  論文  参考訳（メタデータ） (2024-05-16T05:20:47Z)
• Variational Sampling of Temporal Trajectories [39.22854981703244]
  遷移関数 $f$ を関数空間の要素として明示的にパラメータ化することにより、軌道の分布を学習する機構を導入する。 我々のフレームワークは、新しい軌道の効率的な合成を可能にすると同時に、推論に便利なツールを直接提供します。
  論文  参考訳（メタデータ） (2024-03-18T02:12:12Z)
• Deep Stochastic Processes via Functional Markov Transition Operators [59.55961312230447]
  本稿では,ニューラルパラメータ化マルコフ遷移作用素の列を関数空間に重ねて構築した新しいプロセス群(SP)を紹介する。 これらのマルコフ遷移作用素は、SPの交換可能性と整合性を維持することができることを証明している。
  論文  参考訳（メタデータ） (2023-05-24T21:15:23Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Scalable Stochastic Parametric Verification with Stochastic Variational Smoothed Model Checking [1.5293427903448025]
  平滑モデル検査 (smMC) は, パラメータ空間全体の満足度関数を, 限られた観測値から推定することを目的としている。 本稿では,確率論的機械学習の最近の進歩を利用して,この限界を推し進める。 構成された満足度関数のスケーラビリティ,計算効率,精度を調べた結果,smMCとSV-smMCの性能を比較した。
  論文  参考訳（メタデータ） (2022-05-11T10:43:23Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• A New Representation of Successor Features for Transfer across Dissimilar Environments [60.813074750879615]
  多くの実世界のRL問題は、異なるダイナミクスを持つ環境間での移動を必要とする。 ガウス過程を用いて後継特徴関数をモデル化する手法を提案する。 我々の理論的解析は、この手法の収束と、後続特徴関数のモデル化における有界誤差を証明している。
  論文  参考訳（メタデータ） (2021-07-18T12:37:05Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Bayesian neural networks and dimensionality reduction [4.039245878626346]
  そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。 VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。 潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
  論文  参考訳（メタデータ） (2020-08-18T17:11:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。