論文の概要: Function-Space Empirical Bayes Regularisation with Student's t Priors

• arxiv url: http://arxiv.org/abs/2602.22015v1
• Date: Wed, 25 Feb 2026 15:29:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.883675
• Title: Function-Space Empirical Bayes Regularisation with Student's t Priors
• Title（参考訳）: 関数空間の経験的ベイズ規則化と学生のt先行性
• Authors: Pengcheng Hao, Ercan Engin Kuruoglu,
• Abstract要約: 本稿では,関数空間のベイズ正規化フレームワークST-FS-EBを提案する。 また,モンテカルロ (MC) のドロップアウトに基づくエビデンスローバウンド (ELBO) 目標を導出する変動推論 (VI) による後部分布の近似を行った。
• 参考スコア（独自算出の注目度）: 7.187565893243619
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Bayesian deep learning (BDL) has emerged as a principled approach to produce reliable uncertainty estimates by integrating deep neural networks with Bayesian inference, and the selection of informative prior distributions remains a significant challenge. Various function-space variational inference (FSVI) regularisation methods have been presented, assigning meaningful priors over model predictions. However, these methods typically rely on a Gaussian prior, which fails to capture the heavy-tailed statistical characteristics inherent in neural network outputs. By contrast, this work proposes a novel function-space empirical Bayes regularisation framework -- termed ST-FS-EB -- which employs heavy-tailed Student's $t$ priors in both parameter and function spaces. Also, we approximate the posterior distribution through variational inference (VI), inducing an evidence lower bound (ELBO) objective based on Monte Carlo (MC) dropout. Furthermore, the proposed method is evaluated against various VI-based BDL baselines, and the results demonstrate its robust performance in in-distribution prediction, out-of-distribution (OOD) detection and handling distribution shifts.
• Abstract（参考訳）: ベイジアンディープラーニング(BDL)は、ディープニューラルネットワークとベイジアン推論を統合することによって、信頼性の高い不確実性推定を生成するための原則的アプローチとして現れており、情報的事前分布の選択は依然として重要な課題である。 様々な関数空間変動推論(FSVI)正則化手法が提案され、モデル予測よりも有意義な事前を割り当てている。 しかし、これらの手法は一般的にガウス先行法に依存しており、ニューラルネットワークの出力に固有の重み付き統計特性を捉えることに失敗する。 対照的に、本研究では、パラメータと関数空間の両方において、重み付き学生の$t$プリエントを使用する、関数空間経験的ベイズ正規化フレームワーク(ST-FS-EB)を提案する。 また,モンテカルロ (MC) のドロップアウトに基づくエビデンスローバウンド (ELBO) 目標を導出する変動推論 (VI) による後部分布の近似を行った。 さらに, 提案手法は, VI ベースの BDL ベースラインに対して評価され, 分布変化の予測, アウト・オブ・ディストリビューション (OOD) 検出, 処理におけるロバストな性能を示す。

関連論文リスト

• Function-Space Empirical Bayes Regularisation with Large Vision-Language Model Priors [12.285161219785294]
  VLM-FS-EBは、新しい関数空間経験的ベイズ正規化フレームワークである。 提案手法は予測性能を継続的に改善し,信頼性の高い不確実性推定値が得られることを示す。
  論文  参考訳（メタデータ） (2026-02-03T05:24:11Z)
• From Overfitting to Reliability: Introducing the Hierarchical Approximate Bayesian Neural Network [3.632251954989679]
  HABNNは、ガウス-逆ウィッシュアート分布をネットワークの重みのハイパープライアとして利用する、新しいアプローチである。 その結果、HABNNは適合するだけでなく、しばしば最先端のモデルよりも優れていることが示唆された。
  論文  参考訳（メタデータ） (2025-12-15T09:08:42Z)
• Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling [7.084307990641011]
  ベイズ最後の層重みの変分学習に拡散法と暗黙の先行法を組み合わせた新しい手法を提案する。 そこで本手法は,BLLモデルの表現能力を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-08-07T12:59:58Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Probabilistic electric load forecasting through Bayesian Mixture Density Networks [70.50488907591463]
  確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。 ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。 後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
  論文  参考訳（メタデータ） (2020-12-23T16:21:34Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。