論文の概要: Last Layer Empirical Bayes

• arxiv url: http://arxiv.org/abs/2505.15888v1
• Date: Wed, 21 May 2025 18:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.84354
• Title: Last Layer Empirical Bayes
• Title（参考訳）: ラスト・レイヤ 経験的ベイズ
• Authors: Valentin Villecroze, Yixin Wang, Gabriel Loaiza-Ganem,
• Abstract要約: ベイズニューラルネットワーク(BNN)とディープアンサンブル(ディープアンサンブル)は、この課題に対処するための最も顕著なアプローチの一つである。 近年の研究では、アンサンブルが使用する分布が、学習データに依存した先行データに対応する後続データとして理解できることに着想を得て、最後の層実験ベイズ(LLEB)を提案する。 LLEBは既存のアプローチと同等に機能し、経験的ベイズが将来の不確実性定量化研究の有望な方向であることを強調した。
• 参考スコア（独自算出の注目度）: 24.94944362766761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of quantifying the inherent uncertainty associated with neural network predictions is a key challenge in artificial intelligence. Bayesian neural networks (BNNs) and deep ensembles are among the most prominent approaches to tackle this task. Both approaches produce predictions by computing an expectation of neural network outputs over some distribution on the corresponding weights; this distribution is given by the posterior in the case of BNNs, and by a mixture of point masses for ensembles. Inspired by recent work showing that the distribution used by ensembles can be understood as a posterior corresponding to a learned data-dependent prior, we propose last layer empirical Bayes (LLEB). LLEB instantiates a learnable prior as a normalizing flow, which is then trained to maximize the evidence lower bound; to retain tractability we use the flow only on the last layer. We show why LLEB is well motivated, and how it interpolates between standard BNNs and ensembles in terms of the strength of the prior that they use. LLEB performs on par with existing approaches, highlighting that empirical Bayes is a promising direction for future research in uncertainty quantification.
• Abstract（参考訳）: ニューラルネットワークの予測に関連する固有の不確実性を定量化するタスクは、人工知能における重要な課題である。 ベイズニューラルネットワーク(BNN)とディープアンサンブル(ディープアンサンブル)は、この課題に対処するための最も顕著なアプローチの一つである。 どちらのアプローチも、ニューラルネットワーク出力の予測を、対応する重みの分布上で計算することで予測し、この分布はBNNの場合の後部とアンサンブルのための点質量の混合によって与えられる。 近年の研究では、アンサンブルが使用する分布が、学習データに依存した先行データに対応する後続データとして理解できることに着想を得て、最後の層実験ベイズ(LLEB)を提案する。 LLEBは、学習可能な事前を正規化フローとしてインスタンス化し、次にエビデンスを最小限に抑えるように訓練する。 LLEBがなぜモチベーションが高いのか、また、標準BNNとアンサンブル間の補間が、彼らが使用する前の強みの観点からどのように行われるかを示す。 LLEBは既存のアプローチと同等に機能し、経験的ベイズが将来の不確実性定量化研究の有望な方向であることを強調した。

関連論文リスト

• PAC-Bayesian risk bounds for fully connected deep neural network with Gaussian priors [0.0]
  完全連結ベイズニューラルネットワークはスパースネットワークに匹敵する収束率が得られることを示す。 我々の結果は、リプシッツ連続である幅広い実用的なアクティベーション関数のクラスに当てはまる。
  論文  参考訳（メタデータ） (2025-05-07T11:42:18Z)
• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Incorporating Unlabelled Data into Bayesian Neural Networks [48.25555899636015]
  本稿では,事前予測分布の適切なモデル学習に非ラベルデータを用いた自己教師付きベイズニューラルネットワークを提案する。 自己教師型BNNの事前予測分布は,従来のBNNよりも問題セマンティクスが優れていることを示す。 提案手法は, 従来のBNN, 特に低予算体制において, 予測性能を向上する。
  論文  参考訳（メタデータ） (2023-04-04T12:51:35Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• BNNpriors: A library for Bayesian neural network inference with different prior distributions [32.944046414823916]
  bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。 これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。 ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
  論文  参考訳（メタデータ） (2021-05-14T17:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。