論文の概要: Rethinking Likelihood distributions: Student's t Likelihood Boosts Bayesian Neural Network Performance

• arxiv url: http://arxiv.org/abs/2607.25376v1
• Date: Tue, 28 Jul 2026 07:32:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.746259
• Title: Rethinking Likelihood distributions: Student's t Likelihood Boosts Bayesian Neural Network Performance
• Title（参考訳）: 似通った分布を再考する:学生の t 様相はベイズ的ニューラルネットワーク性能を高める
• Abstract要約: 確率分布の代替仮定が一般的に用いられるガウス分布よりも優れているかどうかを考察する。 学生のtは、データ配布とアーキテクチャとは独立に、ガウス確率分布よりも優れた予測性能が得られる。 場合によっては、学生のtは短いトレーニング時間につながりますが、実装は簡単です。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Bayesian neural networks (BNNs), variational inference is a widely adopted framework for modeling uncertainty in a distributional way, with the evidence lower bound (ELBO) serving as the standard objective function. Several distributions contribute to the ELBO loss, such as the prior, approximated posterior, and likelihood distribution. Typically, these distributions are all approximated by a Gaussian distribution, since it is easy to compute, allows for reparameterized gradients, and provides a closed-form loss for training. However, several works have highlighted that this assumption may not generally hold, posing the risk of model misspecification. Alternative distributions have been proposed for the prior specifically, while the effect of distribution choice on the likelihood distribution remains unexplored. In this work, our aim is to close this gap by investigating whether alternative assumptions for the likelihood distribution can outperform the commonly used Gaussian. We compare several likelihood distribution assumptions, such as skewed or heavy-tailed, across regression tasks on both artificial and real-world datasets using standard multilayer perceptrons (MLPs). Our findings demonstrate that Student's t yields better predictive performance than a Gaussian likelihood distribution, independent of the data distribution and MLP architecture (depth and width). In some cases, Student's t can also lead to shorter training times, while still being easy to implement.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)では、変分推論は分布的に不確実性をモデル化するための広く採用されているフレームワークであり、エビデンスローバウンド(ELBO)が標準目的関数として機能する。 いくつかの分布はELBOの損失に寄与し、例えば、前者、近似後者、確率分布などである。 通常、これらの分布はすべてガウス分布によって近似されるが、計算が容易であり、再パラメータ化勾配が可能であり、訓練のための閉形式損失を与える。 しかしながら、いくつかの研究は、この仮定は一般的には成立しないかもしれないことを強調し、モデルの誤特定のリスクを生じさせている。 以前にも別の分布が提案されてきたが、分布選択が分布の可能性に与える影響は未解明のままである。 本研究の目的は、確率分布の代替仮定が一般的に用いられるガウス分布よりも優れているかどうかを調べることで、このギャップを埋めることである。 我々は、標準的な多層パーセプトロン(MLP)を用いて、人工と実世界の両方のデータセットの回帰タスクにおいて、スキュードやヘビーテールなどの確率分布の仮定を比較した。 以上の結果から,学生のtは,データ分布とMLPアーキテクチャ(深さと幅)に依存しないガウス確率分布よりも優れた予測性能が得られることが示された。 場合によっては、学生のtは短いトレーニング時間につながりますが、実装は簡単です。

関連論文リスト

• Sequential Function-Space Variational Inference via Gaussian Mixture Approximation [0.6827423171182154]
  ニューラルネットワークにおける継続的な学習は、古いタスクを忘れずに新しいタスクを学習することを目的としている。 ガウス混合変分分布に基づくSFSVI法を提案する。 最終平均精度では、確率中心のガウス混合 SFSVI が他の逐次変分推定法より優れていることが分かる。
  論文  参考訳（メタデータ） (2025-03-10T09:38:35Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Generative Conditional Distributions by Neural (Entropic) Optimal Transport [12.152228552335798]
  本稿では,条件分布の生成モデル学習を目的とした,ニューラルエントロピー最適輸送手法を提案する。 提案手法は,2つのニューラルネットワークのミニマックストレーニングに依存する。 実世界のデータセットを用いた実験では,現状条件分布学習法と比較して,アルゴリズムの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-04T13:45:35Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk Minimization Framework [12.734559823650887]
  分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。 既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。 本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-20T23:25:28Z)
• Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
  本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。 提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-14T08:00:49Z)
• Normalizing flow sampling with Langevin dynamics in the latent space [12.91637880428221]
  正規化フロー(NF)は、連続生成器を使用して、単純な潜伏分布(例えばガウス分布)をトレーニングデータセットに関連する経験的対象分布にマッピングする。 標準NFは可微分写像を実装しているため、複雑な分布を対象とする場合、病理学的挙動に悩まされることがある。 本稿では,マルコフ連鎖モンテカルロアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-20T09:31:35Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• Distributional Random Forests: Heterogeneity Adjustment and Multivariate Distributional Regression [0.8574682463936005]
  共同条件分布に基づく多変量応答のための新しい森林構築法を提案する。 コードはPythonとRパッケージとして利用可能である。
  論文  参考訳（メタデータ） (2020-05-29T09:05:00Z)
• GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences [70.30467057209405]
  GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。 GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。 本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
  論文  参考訳（メタデータ） (2020-03-02T04:31:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。