論文の概要: From Overfitting to Reliability: Introducing the Hierarchical Approximate Bayesian Neural Network

• arxiv url: http://arxiv.org/abs/2512.13111v1
• Date: Mon, 15 Dec 2025 09:08:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.597313
• Title: From Overfitting to Reliability: Introducing the Hierarchical Approximate Bayesian Neural Network
• Title（参考訳）: オーバーフィットから信頼性:階層型近似ベイズニューラルネットワークの導入
• Authors: Hayk Amirkhanian, Marco F. Huber,
• Abstract要約: HABNNは、ガウス-逆ウィッシュアート分布をネットワークの重みのハイパープライアとして利用する、新しいアプローチである。 その結果、HABNNは適合するだけでなく、しばしば最先端のモデルよりも優れていることが示唆された。
• 参考スコア（独自算出の注目度）: 3.632251954989679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, neural networks have revolutionized various domains, yet challenges such as hyperparameter tuning and overfitting remain significant hurdles. Bayesian neural networks offer a framework to address these challenges by incorporating uncertainty directly into the model, yielding more reliable predictions, particularly for out-of-distribution data. This paper presents Hierarchical Approximate Bayesian Neural Network, a novel approach that uses a Gaussian-inverse-Wishart distribution as a hyperprior of the network's weights to increase both the robustness and performance of the model. We provide analytical representations for the predictive distribution and weight posterior, which amount to the calculation of the parameters of Student's t-distributions in closed form with linear complexity with respect to the number of weights. Our method demonstrates robust performance, effectively addressing issues of overfitting and providing reliable uncertainty estimates, particularly for out-of-distribution tasks. Experimental results indicate that HABNN not only matches but often outperforms state-of-the-art models, suggesting a promising direction for future applications in safety-critical environments.
• Abstract（参考訳）: 近年、ニューラルネットワークは様々な領域に革命をもたらしたが、ハイパーパラメータチューニングやオーバーフィッティングといった課題は依然として大きなハードルとなっている。 ベイズニューラルネットワークは、モデルに不確実性を直接組み込んで、特にアウト・オブ・ディストリビューションデータに対してより信頼性の高い予測をもたらすことによって、これらの課題に対処するフレームワークを提供する。 本稿では,階層型近似ベイズニューラルネットワークについて述べる。これはガウス-逆ウィッシュアート分布をネットワークの重みの重みの重み付けとして用いて,モデルの堅牢性と性能を両立させる新しいアプローチである。 重み数に関する線形複雑度を有する閉形式の生徒のt分布のパラメータの計算に相当する,予測分布と重み後部に関する解析的表現を提供する。 提案手法は,特にアウト・オブ・ディストリビューションタスクにおいて,信頼性の高い不確実性推定を行い,過度に適合する問題に効果的に対処する,堅牢な性能を示す。 実験結果から、HABNNは適合するだけでなく、最先端のモデルよりも優れていることが示唆され、安全クリティカルな環境における将来の応用に向けた有望な方向性が示唆された。

関連論文リスト

• Probabilistic Neural Networks (PNNs) with t-Distributed Outputs: Adaptive Prediction Intervals Beyond Gaussian Assumptions [2.77390041716769]
  確率的ニューラルネットワーク(PNN)は出力分布を生成し、予測間隔の構築を可能にする。 本稿では, 位置, スケール, 自由度でパラメータ化された t 分散出力を生成する t-Distributed Neural Networks (TDistNNs) を提案する。 我々は,TDistNNがガウスベースのPNNよりも狭い予測間隔を連続的に生成し,適切なカバレッジを維持していることを示す。
  論文  参考訳（メタデータ） (2025-03-16T04:47:48Z)
• Variational Bayesian Bow tie Neural Networks with Shrinkage [0.276240219662896]
  我々は,層間における分布仮定や独立性を回避する高速で近似的な変分推論アルゴリズムを開発した。 我々はPolya-Gammaデータ拡張トリックを使用し、条件付き線形およびガウス的モデルを描画する。
  論文  参考訳（メタデータ） (2024-11-17T17:36:30Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Probabilistic electric load forecasting through Bayesian Mixture Density Networks [70.50488907591463]
  確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。 ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。 後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
  論文  参考訳（メタデータ） (2020-12-23T16:21:34Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。