論文の概要: Last Layer Empirical Bayes

• arxiv url: http://arxiv.org/abs/2505.15888v1
• Date: Wed, 21 May 2025 18:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.84354
• Title: Last Layer Empirical Bayes
• Title（参考訳）: ラスト・レイヤ 経験的ベイズ
• Authors: Valentin Villecroze, Yixin Wang, Gabriel Loaiza-Ganem,
• Abstract要約: ベイズニューラルネットワーク(BNN)とディープアンサンブル(ディープアンサンブル)は、この課題に対処するための最も顕著なアプローチの一つである。 近年の研究では、アンサンブルが使用する分布が、学習データに依存した先行データに対応する後続データとして理解できることに着想を得て、最後の層実験ベイズ(LLEB)を提案する。 LLEBは既存のアプローチと同等に機能し、経験的ベイズが将来の不確実性定量化研究の有望な方向であることを強調した。
• 参考スコア（独自算出の注目度）: 24.94944362766761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of quantifying the inherent uncertainty associated with neural network predictions is a key challenge in artificial intelligence. Bayesian neural networks (BNNs) and deep ensembles are among the most prominent approaches to tackle this task. Both approaches produce predictions by computing an expectation of neural network outputs over some distribution on the corresponding weights; this distribution is given by the posterior in the case of BNNs, and by a mixture of point masses for ensembles. Inspired by recent work showing that the distribution used by ensembles can be understood as a posterior corresponding to a learned data-dependent prior, we propose last layer empirical Bayes (LLEB). LLEB instantiates a learnable prior as a normalizing flow, which is then trained to maximize the evidence lower bound; to retain tractability we use the flow only on the last layer. We show why LLEB is well motivated, and how it interpolates between standard BNNs and ensembles in terms of the strength of the prior that they use. LLEB performs on par with existing approaches, highlighting that empirical Bayes is a promising direction for future research in uncertainty quantification.
• Abstract（参考訳）: ニューラルネットワークの予測に関連する固有の不確実性を定量化するタスクは、人工知能における重要な課題である。 ベイズニューラルネットワーク(BNN)とディープアンサンブル(ディープアンサンブル)は、この課題に対処するための最も顕著なアプローチの一つである。 どちらのアプローチも、ニューラルネットワーク出力の予測を、対応する重みの分布上で計算することで予測し、この分布はBNNの場合の後部とアンサンブルのための点質量の混合によって与えられる。 近年の研究では、アンサンブルが使用する分布が、学習データに依存した先行データに対応する後続データとして理解できることに着想を得て、最後の層実験ベイズ(LLEB)を提案する。 LLEBは、学習可能な事前を正規化フローとしてインスタンス化し、次にエビデンスを最小限に抑えるように訓練する。 LLEBがなぜモチベーションが高いのか、また、標準BNNとアンサンブル間の補間が、彼らが使用する前の強みの観点からどのように行われるかを示す。 LLEBは既存のアプローチと同等に機能し、経験的ベイズが将来の不確実性定量化研究の有望な方向であることを強調した。

関連論文リスト

• PAC-Bayesian risk bounds for fully connected deep neural network with Gaussian priors [0.0]
  完全連結ベイズニューラルネットワークはスパースネットワークに匹敵する収束率が得られることを示す。 我々の結果は、リプシッツ連続である幅広い実用的なアクティベーション関数のクラスに当てはまる。
  論文  参考訳（メタデータ） (2025-05-07T11:42:18Z)
• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Incorporating Unlabelled Data into Bayesian Neural Networks [48.25555899636015]
  本稿では,事前予測分布の適切なモデル学習に非ラベルデータを用いた自己教師付きベイズニューラルネットワークを提案する。 自己教師型BNNの事前予測分布は,従来のBNNよりも問題セマンティクスが優れていることを示す。 提案手法は, 従来のBNN, 特に低予算体制において, 予測性能を向上する。
  論文  参考訳（メタデータ） (2023-04-04T12:51:35Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning [24.3370326359959]
  独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。 我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
  論文  参考訳（メタデータ） (2021-11-05T15:52:48Z)
• BNNpriors: A library for Bayesian neural network inference with different prior distributions [32.944046414823916]
  bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。 これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。 ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
  論文  参考訳（メタデータ） (2021-05-14T17:11:04Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。