論文の概要: Accelerating Hamiltonian Monte Carlo for Bayesian Inference in Neural Networks and Neural Operators

• arxiv url: http://arxiv.org/abs/2507.14652v1
• Date: Sat, 19 Jul 2025 14:57:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.986666
• Title: Accelerating Hamiltonian Monte Carlo for Bayesian Inference in Neural Networks and Neural Operators
• Title（参考訳）: ニューラルネットワークとニューラル演算子におけるベイズ推論のためのハミルトニアンモンテカルロ加速
• Authors: Ponkrshnan Thiagarajan, Tamer A. Zaki, Michael D. Shields,
• Abstract要約: ハミルトニアン・モンテカルロ (HMC) はベイジアンネットワークの後方分布をサンプリングするための強力で正確な手法である。 本稿では,安価なVI法と正確なHMC法を組み合わせて,ニューラルネットワークの不確かさを高精度に予測するハイブリッド手法を提案する。
• 参考スコア（独自算出の注目度）: 1.0923877073891446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hamiltonian Monte Carlo (HMC) is a powerful and accurate method to sample from the posterior distribution in Bayesian inference. However, HMC techniques are computationally demanding for Bayesian neural networks due to the high dimensionality of the network's parameter space and the non-convexity of their posterior distributions. Therefore, various approximation techniques, such as variational inference (VI) or stochastic gradient MCMC, are often employed to infer the posterior distribution of the network parameters. Such approximations introduce inaccuracies in the inferred distributions, resulting in unreliable uncertainty estimates. In this work, we propose a hybrid approach that combines inexpensive VI and accurate HMC methods to efficiently and accurately quantify uncertainties in neural networks and neural operators. The proposed approach leverages an initial VI training on the full network. We examine the influence of individual parameters on the prediction uncertainty, which shows that a large proportion of the parameters do not contribute substantially to uncertainty in the network predictions. This information is then used to significantly reduce the dimension of the parameter space, and HMC is performed only for the subset of network parameters that strongly influence prediction uncertainties. This yields a framework for accelerating the full batch HMC for posterior inference in neural networks. We demonstrate the efficiency and accuracy of the proposed framework on deep neural networks and operator networks, showing that inference can be performed for large networks with tens to hundreds of thousands of parameters. We show that this method can effectively learn surrogates for complex physical systems by modeling the operator that maps from upstream conditions to wall-pressure data on a cone in hypersonic flow.
• Abstract（参考訳）: ハミルトニアン・モンテカルロ (HMC) はベイズ推定における後方分布から抽出する強力な高精度な手法である。 しかし、HMC手法は、ネットワークのパラメータ空間の高次元性と後部分布の非凸性のため、ベイズニューラルネットワークに対して計算的に要求されている。 そのため、ネットワークパラメータの後方分布を推定するために、変動推論(VI)や確率勾配MCMCなどの様々な近似手法がよく用いられる。 このような近似は、推定された分布に不正確な結果をもたらし、信頼できない不確実性推定をもたらす。 本研究では、安価なVI法と正確なHMC法を組み合わせて、ニューラルネットワークやニューラル演算子の不確かさを効率的に正確に定量化するハイブリッド手法を提案する。 提案手法は、全ネットワーク上での最初のVIトレーニングを利用する。 本研究では,個々のパラメータが予測の不確実性に与える影響について検討し,パラメータの大部分がネットワーク予測の不確実性に大きく寄与しないことを示す。 この情報を用いてパラメータ空間の次元を大幅に削減し、予測の不確実性に強く影響するネットワークパラメータのサブセットに対してのみHMCを実行する。 これにより、ニューラルネットワークの後方推論のためのフルバッチHMCを加速するためのフレームワークが得られる。 深層ニューラルネットワークと演算子ネットワークにおける提案フレームワークの効率と精度を実証し,数十～数十万のパラメータを持つ大規模ネットワークに対して推論を行うことを示した。 本研究では,超音速流中のコーン上の壁圧データに上流条件からマッピングする演算子をモデル化することにより,複雑な物理系のサロゲートを効果的に学習できることを示す。

関連論文リスト

• Understanding the Trade-offs in Accuracy and Uncertainty Quantification: Architecture and Inference Choices in Bayesian Neural Networks [0.276240219662896]
  有望な理論的結果にもかかわらず、最もよく使われる後部近似の性質はしばしば疑問視される。 現代の深層モデルの次元は、識別可能性の欠如と相まって、マルコフ連鎖モンテカルロ(MCMC)は後部を完全に探索することができない。 変分推論は計算複雑性の改善による恩恵を受けるが、サンプリングベース推論のマルチモーダル保証は欠如している。 変分近似の積み重ねとアンサンブルにより、MCMCに匹敵する精度が大幅に低減された。
  論文  参考訳（メタデータ） (2025-03-14T18:55:48Z)
• On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
  ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。 ニューラルネットワークの 後部分布からサンプルを生成することは 大きな課題です この方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。 本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
  論文  参考訳（メタデータ） (2024-03-13T15:21:14Z)
• A Compact Representation for Bayesian Neural Networks By Removing Permutation Symmetry [22.229664343428055]
  置換の役割は、多くの転置計量によって有意に定量化できることを示す。 次に、最近提案されたRebasin法により、HMCサンプルをコンパクトな表現にまとめることができることを示す。 このコンパクトな表現により、サンプル法と変分推論とでトレーニングされたBNNを直接重み空間で比較できることが示される。
  論文  参考訳（メタデータ） (2023-12-31T23:57:05Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Bayesian deep learning framework for uncertainty quantification in high dimensions [6.282068591820945]
  我々はベイズニューラルネットワーク(BNN)とハミルトンモンテカルロ(HMC)に基づく偏微分方程式の不確実性定量化のための新しい深層学習法を開発した。 BNNは、ネットワークパラメータに対してベイズ推論を行うことにより、ディープニューラルネットワークにおけるパラメータの後方分布を効率的に学習する。 後部分布は、HMCを用いて効率よくサンプリングされ、システムの不確かさを定量化する。
  論文  参考訳（メタデータ） (2022-10-21T05:20:06Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Multi-fidelity Bayesian Neural Networks: Algorithms and Applications [0.0]
  本稿では,可変忠実度の雑音データを用いて訓練できるベイズ型ニューラルネットワーク(BNN)を提案する。 関数近似の学習や、偏微分方程式(PDE)に基づく逆問題の解法に応用する。
  論文  参考訳（メタデータ） (2020-12-19T02:03:53Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。