論文の概要: Bayesian Neural Networks vs. Mixture Density Networks: Theoretical and Empirical Insights for Uncertainty-Aware Nonlinear Modeling
- arxiv url: http://arxiv.org/abs/2510.25001v1
- Date: Tue, 28 Oct 2025 22:00:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 15:50:44.805237
- Title: Bayesian Neural Networks vs. Mixture Density Networks: Theoretical and Empirical Insights for Uncertainty-Aware Nonlinear Modeling
- Title（参考訳）: ベイズニューラルネットワーク対混合密度ネットワーク:不確実性を考慮した非線形モデリングのための理論的および実証的考察
- Authors: Riddhi Pratim Ghosh, Ian Barnett,
- Abstract要約: 本研究では,不確実性を考慮した非線形回帰に対するベイズニューラルネットワーク(BNN)と混合密度ネットワーク(MDN)のアプローチを比較する。
理論的には、H"古い滑らかさ条件下での収束率と誤差境界を導出し、MDNがより高速なクルバック・リーブラー(KL)分散収束を実現することを示す。
本研究は, 非線形システムにおける不確実性を考慮したモデリングの指針として, 後進的および確率的確率論的学習の相補的強みを明らかにした。
- 参考スコア（独自算出の注目度）: 2.0797819204842036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates two prominent probabilistic neural modeling paradigms: Bayesian Neural Networks (BNNs) and Mixture Density Networks (MDNs) for uncertainty-aware nonlinear regression. While BNNs incorporate epistemic uncertainty by placing prior distributions over network parameters, MDNs directly model the conditional output distribution, thereby capturing multimodal and heteroscedastic data-generating mechanisms. We present a unified theoretical and empirical framework comparing these approaches. On the theoretical side, we derive convergence rates and error bounds under H\"older smoothness conditions, showing that MDNs achieve faster Kullback-Leibler (KL) divergence convergence due to their likelihood-based nature, whereas BNNs exhibit additional approximation bias induced by variational inference. Empirically, we evaluate both architectures on synthetic nonlinear datasets and a radiographic benchmark (RSNA Pediatric Bone Age Challenge). Quantitative and qualitative results demonstrate that MDNs more effectively capture multimodal responses and adaptive uncertainty, whereas BNNs provide more interpretable epistemic uncertainty under limited data. Our findings clarify the complementary strengths of posterior-based and likelihood-based probabilistic learning, offering guidance for uncertainty-aware modeling in nonlinear systems.
- Abstract（参考訳）: 本稿では,不確実性を考慮した非線形回帰に対するベイズニューラルネットワーク(BNN)と混合密度ネットワーク(MDN)の2つの顕著な確率論的ニューラルネットワークパラダイムについて検討する。
BNNは、ネットワークパラメータに事前分布を配置することで、疫学的な不確実性を含むが、MDNは、条件付き出力分布を直接モデル化し、マルチモーダルおよびヘテロセダスティックなデータ生成機構をキャプチャする。
これらのアプローチを比較検討する統一的理論的・実証的枠組みを提案する。
理論的には、H\"古い滑らかさ条件下での収束率と誤差境界を導出し、MDNは、その可能性に基づく性質によりより高速なクルバック・リーブラー(KL)分散収束を達成することを示す一方、BNNは、変動推論によって引き起こされるさらなる近似バイアスを示す。
実験的に, 合成非線形データセットと放射線学的ベンチマーク (RSNA Pediatric Bone Age Challenge) の両アーキテクチャを比較検討した。
定量的および定性的な結果はMDNがより効果的にマルチモーダル応答と適応不確かさを捉え、一方BNNは限られたデータ下でより解釈可能なてんかん不確実性を提供することを示している。
本研究は, 非線形システムにおける不確実性を考慮したモデリングの指針として, 後進的および確率的確率論的学習の相補的強みを明らかにした。
関連論文リスト
- Enhancing Uncertainty Estimation and Interpretability via Bayesian Non-negative Decision Layer [55.66973223528494]
本研究では, ディープニューラルネットワークを条件付きベイズ非負因子分析として再構成したベイズ非負決定層(BNDL)を開発した。
BNDLは複雑な依存関係をモデル化し、堅牢な不確実性推定を提供する。
また,BNDLが効果的に不整合学習を達成できるという理論的保証も提供する。
論文 参考訳（メタデータ） (2025-05-28T10:23:34Z) - Quantification of Uncertainties in Probabilistic Deep Neural Network by Implementing Boosting of Variational Inference [0.38366697175402226]
Boosted Bayesian Neural Networks (BBNN)は、ニューラルネットワークの重み分布近似を強化する新しいアプローチである。
BBNNは従来のニューラルネットワークに比べて5%高い精度を実現している。
論文 参考訳（メタデータ） (2025-03-18T05:11:21Z) - Evidential Uncertainty Probes for Graph Neural Networks [3.5169632430086315]
グラフニューラルネットワーク(GNN)における不確実性定量化のためのプラグアンドプレイフレームワークを提案する。
Evidential Probing Network (EPN) は、学習した表現から証拠を抽出するために軽量なMulti-Layer-Perceptron (MLP) ヘッドを使用する。
EPN-regは、正確で効率的な不確実性定量化において最先端のパフォーマンスを実現し、現実世界のデプロイメントに適している。
論文 参考訳（メタデータ） (2025-03-11T07:00:54Z) - Single-model uncertainty quantification in neural network potentials
does not consistently outperform model ensembles [0.7499722271664145]
ニューラルネットワーク(NN)は、遠く離れた地点であっても、予測に高い信頼性を割り当てることが多い。
不確かさ定量化(英: Uncertainty Quantification、UQ)は、物質系における原子間ポテンシャルのモデル化に使用されるときの課題である。
異なるUQ技術は、新しい情報データを見つけ、堅牢なポテンシャルのためにアクティブな学習ループを駆動することができる。
論文 参考訳（メタデータ） (2023-05-02T19:41:17Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。
我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文 参考訳（メタデータ） (2022-05-20T10:10:32Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z) - Multidimensional Uncertainty-Aware Evidential Neural Networks [21.716045815385268]
非可逆性(OOD)検出問題を解決するために、WGAN-ENN(WENN)と呼ばれる新しい不確実性認識NNを提案する。
我々は、Wasserstein Generative Adrial Network(WGAN)とENNを組み合わせて、あるクラスの事前知識でモデルを共同で訓練するハイブリッドアプローチを採用した。
WENNによる不確実性の推定は、OODサンプルと境界サンプルを有意に区別するのに役立つことを実証した。
論文 参考訳（メタデータ） (2020-12-26T04:28:56Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。