論文の概要: Position: The Time for Sampling Is Now! Charting a New Course for Bayesian Deep Learning
- arxiv url: http://arxiv.org/abs/2605.21765v1
- Date: Wed, 20 May 2026 21:57:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 20:14:18.494411
- Title: Position: The Time for Sampling Is Now! Charting a New Course for Bayesian Deep Learning
- Title(参考訳): ベイジアンディープラーニングの新しいコースをグラフ化
- Authors: Emanuel Sommer, David Rügamer,
- Abstract要約: ベイジアンニューラルネットワーク(BNN)におけるサンプリングベース推論(SAI)の実践的採用は、サンプリングの実現可能性と効率性に関する誤解が続いていることもあって、依然として限られている。
本稿は,SAIが最適化手法と計算等価性を達成し,BNNの効率的かつ効率的な推論手法に取って代わろうとしていることを論じる。
- 参考スコア(独自算出の注目度): 15.645799592866569
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The practical adoption of sampling-based inference (SAI) in Bayesian neural networks (BNNs) remains limited, partly due to persistent misconceptions about the feasibility and efficiency of sampling. This position paper argues that SAI has achieved computational parity with optimization-based methods and is at the verge of superseding such methods for effective and efficient inference in BNNs. This development should be in the interest of the whole community, promoting BNNs as a principled paradigm with its long-standing yet unfulfilled promise of providing principled uncertainty quantification for neural networks. SAI can even do more -- yielding superior prediction performance through model averaging, serving as the foundation for a plethora of possible downstream tasks, and providing crucial insights into the landscape of BNNs. In order to make such a change happen and unfold the potential of sampling, overcoming current misconceptions is a necessary first step. The next step is to realign research efforts toward addressing remaining challenges in SAI. In particular, the community must focus on two core problems: sufficient exploration of the posterior landscape and high-fidelity distillation of posterior samples for efficient downstream inference. By addressing conceptual and practical obstacles, we can unlock the full potential of SAI and establish it as a central tool in Bayesian deep learning.
- Abstract(参考訳): ベイジアンニューラルネットワーク(BNN)におけるサンプリングベース推論(SAI)の実践的採用は、サンプリングの実現可能性と効率に関する誤解が続いていることもあって、依然として限られている。
本稿は,SAIが最適化手法と計算等価性を達成し,BNNの効率的かつ効率的な推論手法に取って代わりつつあることを論じる。
この開発は、ニューラルネットワークの原則化された不確実性定量化を提供するという長年の約束で、BNNを原則的パラダイムとして推進する、コミュニティ全体の関心によって行われるべきである。
SAIは、モデル平均化を通じて優れた予測性能を得ることができ、下流タスクの多用の基礎となり、BNNの状況に対する重要な洞察を提供する。
このような変化を発生させ、サンプリングの可能性を広げるためには、現在の誤解を克服する必要がある。
次のステップは、SAIにおける残りの課題に対処するための研究努力の実現である。
特に、コミュニティは、下流の効率的な推論のために、後部景観の十分な探査と、後部試料の高忠実度蒸留という2つの中核的な問題に焦点を合わせなければならない。
概念的および実践的な障害に対処することにより、SAIの潜在能力を最大限に活用し、ベイズ深層学習の中心的なツールとして確立することができる。
関連論文リスト
- Possibilistic Predictive Uncertainty for Deep Learning [75.00607359322863]
Dirichlet-approximated possibilistic rear predictions (DAPPr)を紹介する。
DAPPrは可能性理論を利用した原則的なフレームワークである。
この射影近似戦略は閉形式解を用いた単純な訓練目標を与える。
論文 参考訳(メタデータ) (2026-05-01T12:14:01Z) - Interior-Point Vanishing Problem in Semidefinite Relaxations for Neural Network Verification [9.063592930122113]
ニューラルネットワーク検証のための有望なアプローチとしてセミデフィニティプログラミング(SDP)緩和が出現している。
深層ネットワークに適用した場合のSDP緩和の限界は,内部点消滅である。
検証問題の実現可能性を高めるための5つの解について検討する。
論文 参考訳(メタデータ) (2025-06-12T01:25:21Z) - Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks [100.13335639780415]
スケーリング法則は、しばしばパワーローに従っており、より大きなスケールでのスケーリングの振る舞いを予測するために、パワーロー関数のいくつかの変種を提案した。
既存の手法は主に点推定に依存しており、現実のアプリケーションにとって欠かせない不確実性を定量化しない。
本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。
論文 参考訳(メタデータ) (2025-05-29T03:19:17Z) - Last Layer Empirical Bayes [24.94944362766761]
ベイズニューラルネットワーク(BNN)とディープアンサンブル(ディープアンサンブル)は、この課題に対処するための最も顕著なアプローチの一つである。
近年の研究では、アンサンブルが使用する分布が、学習データに依存した先行データに対応する後続データとして理解できることに着想を得て、最後の層実験ベイズ(LLEB)を提案する。
LLEBは既存のアプローチと同等に機能し、経験的ベイズが将来の不確実性定量化研究の有望な方向であることを強調した。
論文 参考訳(メタデータ) (2025-05-21T18:00:00Z) - A Primer on Bayesian Neural Networks: Review and Debates [10.074350562162921]
ベイズニューラルネットワーク(BNN)は、従来のニューラルネットワークの魅力的な拡張として登場した。
このプライマーは、ニューラルネットワークとベイズ推論の基本概念を体系的に紹介する。
対象者はベイズ的手法の潜在的な背景を持つ統計学者であるが、ディープラーニングの専門知識は欠如している。
論文 参考訳(メタデータ) (2023-09-28T10:09:15Z) - Efficient Bayes Inference in Neural Networks through Adaptive Importance
Sampling [19.518237361775533]
BNNでは、トレーニング段階で、未知の重みとバイアスパラメータの完全な後部分布が生成される。
この機能は、数え切れないほどの機械学習アプリケーションに役立ちます。
医療医療や自動運転など、意思決定に重大な影響を及ぼす分野において特に魅力的である。
論文 参考訳(メタデータ) (2022-10-03T14:59:23Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳(メタデータ) (2021-12-12T17:13:14Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳(メタデータ) (2021-02-17T18:59:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。