論文の概要: Direct Bethe Free Energy Minimization for Bayesian Neural Network
- arxiv url: http://arxiv.org/abs/2605.08446v2
- Date: Tue, 12 May 2026 08:06:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 18:21:06.918077
- Title: Direct Bethe Free Energy Minimization for Bayesian Neural Network
- Title（参考訳）: ベイジアンニューラルネットワークにおける自由エネルギーの最小化
- Authors: Pavel Prochazka,
- Abstract要約: 我々は,変分下界を最大化するのではなく,Bethe自由エネルギーを直接最小化してベイズニューラルネットワークを訓練することを提案する。
木構造因子グラフ上では、Bethe自由エネルギーは正確であり、決定論的層は目的から外れ、標準のバックプロパゲーションによって訓練される。
すべての変種は、アンサンブルやサンプリングベースの手法とは対照的に、MAP等価な推論コストで閉形式予測を許容する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose training Bayesian neural networks by directly minimizing the Bethe free energy rather than maximizing a variational lower bound. On tree-structured factor graphs the Bethe free energy is exact; deterministic layers drop out of the objective and are trained by standard backpropagation, so the framework accommodates any mixture of probabilistic and deterministic subgraphs without modification. Restricting the weight posterior to a last-layer Gaussian yields analytically tractable losses: for a Gaussian likelihood the Bethe loss equals the exact marginal likelihood, and for a probit likelihood it reduces to a closed form via the probit-Gaussian convolution. Both objectives sit strictly between MAP and the ELBO ($L_\text{MAP} \leq L_\text{Bethe} \leq L_\text{ELBO}$), removing the structural Jensen gap that no choice of variational family can close. The Z-consistent prior formulation makes the prior precision a differentiable parameter, enabling empirical Bayes - joint optimization of weights, covariance, and hyperparameters - in a single gradient pass, with no cross-validation or outer loop. All variants admit a closed-form predictive at MAP-equivalent inference cost, in contrast to ensemble and sampling-based methods. On 8 UCI regression and 12 UCI classification benchmarks evaluated under a single shared hyperparameter regime, Bethe is competitive with standard reference methods at single-pass cost. Independently, joint single-pass empirical Bayes matches grid-search cross-validation of the prior precision on essentially all dataset-variant combinations, eliminating the outer hyperparameter loop without measurable cost. Isolated optimization gaps on a few datasets reflect numerical rather than principled limitations of the framework.
- Abstract（参考訳）: 我々は,変分下界を最大化するのではなく,Bethe自由エネルギーを直接最小化してベイズニューラルネットワークを訓練することを提案する。
決定論的層は目的から外れ、標準バックプロパゲーションによって訓練されるため、このフレームワークは変更することなく確率的および決定論的部分グラフの混合を許容する。
ガウスの確率について、ベーテの損失は真辺の確率に等しいし、プロビット・ガウスの畳み込みによって閉形式に還元される。
どちらの目的もMAPとELBO(L_\text{MAP} \leq L_\text{Bethe} \leq L_\text{ELBO}$)の厳密な関係にある。
Z-一貫性を持つ事前定式化は、事前精度を微分可能なパラメータとし、クロスバリデーションや外ループのない1つの勾配パスにおいて、経験的ベイズ(重み、共分散、ハイパーパラメータの合同最適化)を可能にする。
すべての変種は、アンサンブルやサンプリングベースの手法とは対照的に、MAP等価な推論コストで閉形式予測を許容する。
8UCI回帰と12UCI分類ベンチマークで、Betheはシングルパスコストで標準基準法と競合する。
独立に、ジョイントシングルパス実験ベイズは、基本的に全てのデータセット変種の組み合わせに対する事前精度のグリッド探索のクロスバリデーションと一致し、測定可能なコストなしで外側のハイパーパラメータループを排除した。
いくつかのデータセットで分離された最適化ギャップは、フレームワークの原則的な制限ではなく、数値を反映している。
関連論文リスト
- Uncovering a Winning Lottery Ticket with Continuously Relaxed Bernoulli Gates [13.591018807414484]
Strong Lottery Ticket (SLT)仮説は、無作為なネットワークには、ウェイトトレーニングなしで競争精度を達成できるスパースワークが含まれていることを示唆している。
我々は、連続的に緩和されたBernoulligatingを用いて、完全に微分可能でエンドツーエンドの最適化によってSLTを発見することを提案する。
完全接続ネットワーク、CNN(ResNet、Wide-ResNet)、ビジョントランスフォーマー(ViT、Swin-T)での実験では、90%の間隔で精度が低下する。
論文 参考訳（メタデータ） (2026-03-09T20:33:16Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳（メタデータ） (2026-02-27T05:22:01Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Joint Embedding Variational Bayes [0.08594140167290097]
変分ジョイント・エンベディング(VJE)は、関節埋め込みと変分推論を合成するフレームワークである。
VJEは、再構成のない非競合的な環境で確率的表現の自己教師付き学習を可能にする。
論文 参考訳（メタデータ） (2026-02-05T13:18:53Z) - From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。
LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。
共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
論文 参考訳（メタデータ） (2025-10-06T17:58:01Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。
この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。
しかし、これは現実世界の長い尾のデータ分布には適用できない。
本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
論文 参考訳（メタデータ） (2025-06-29T15:12:50Z) - Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
重みを推定しない新しい共変量シフト適応法を提案する。
基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。
実験の結果, 走行時間を大幅に短縮できることがわかった。
論文 参考訳（メタデータ） (2023-12-15T17:28:09Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。
また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2019-04-18T02:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。