論文の概要: Occam's Razor is Only as Sharp as Your ELBO

• arxiv url: http://arxiv.org/abs/2604.25984v1
• Date: Tue, 28 Apr 2026 16:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.12319
• Title: Occam's Razor is Only as Sharp as Your ELBO
• Title（参考訳）: オッカムのRazorはELBOと同じシャープ
• Authors: Ethan Harvey, Michael C. Hughes,
• Abstract要約: 平均場近似による近似後縁ファミリーの制限はELBOを不適合にさせる可能性があることを示す。 驚くべきことに、不適合な選択肢と過適合なオプションだけの中で、証拠によるベイジアンモデルの選択は、しばしば過適合バージョンを好む。
• 参考スコア（独自算出の注目度）: 4.832055309058857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The marginal likelihood, also known as the evidence, is regarded as a mathematical embodiment of Occam's razor, enabling model selection that avoids overfitting. The evidence lower bound (ELBO) objective from variational inference has also been used for similar purposes. Prior work has shown that restricting the approximate posterior family via a mean-field approximation can lead the ELBO to underfit. In this paper, we show how ELBO-based hyperparameter learning in a simple over-parameterized regression model can also produce overfitting, depending on the assumed rank of the covariance matrix in a Gaussian approximate posterior. Surprisingly, among only the underfit and overfit options, Bayesian model selection via the evidence itself sometimes prefers the overfit version, while the ELBO does not. Bayesian practitioners hoping to scale to large models should be cautious about how reduced-rank assumptions needed for tractability may impact the potential for model selection.
• Abstract（参考訳）: 証拠としても知られる限界確率は、オッカムのカミソリの数学的具体化と見なされ、過度な適合を避けるモデル選択を可能にした。 変分推論によるELBOの目的は、同様の目的のためにも使用されている。 これまでの研究では、平均場近似による近似後縁ファミリーの制限は、ELBOを不適合にさせる可能性があることが示されている。 本稿では,単純な過度パラメータ化回帰モデルにおけるELBOに基づくハイパーパラメータ学習が,ガウス近傍の共分散行列の仮定値に依存するオーバーフィッティングを実現する方法を示す。 驚くべきことに、不利な選択肢と過度に適合するオプションだけの中で、ベイジアンモデルの選択は証拠自体が過度に適合したバージョンを好むことがあるが、ELBOはそうではない。 大規模モデルにスケールしたいベイジアン実践者は、トラクタビリティに必要なランクの低下がモデル選択の可能性にどのように影響するかを慎重に考えるべきである。

関連論文リスト

• A note on the area under the likelihood and the fake evidence for model selection [0.0]
  不適切な先行性は、ベイズ証拠の計算に許されていない:$Z=p(bf y)$(つまり、限界確率) 特定の種類のモデル選択問題に適用可能であることを示す。 数値実験も提供され、すべての前のステートメントを確認してチェックする。
  論文  参考訳（メタデータ） (2026-02-26T13:01:50Z)
• Bayesian Double Descent [0.0]
  ディープニューラルネットワークはリスク関数に再帰性を持つことを示す。 モデルの複雑さが増加するにつれて、リスクはU字型の領域を示す。 パラメータの数が観測数と等しくなると、モデルはリスクを非バウンドにできるものの1つとなり、再帰する。
  論文  参考訳（メタデータ） (2025-07-09T23:47:26Z)
• Selecting Large Language Model to Fine-tune via Rectified Scaling Law [74.84096546112215]
  制約のあるリソースを前提に、すべてのモデルを微調整し、その後の選択は非現実的である。 微調整スケーリング曲線は、よく知られた「パワーフェーズ」だけでなく、これまで観測されていなかった「プリパワーフェーズ」も含む。 本法則を利用して,資源消費の数百倍少ない最適モデルを選択する新しいLCM選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-04T01:55:00Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Bayesian Model Selection of Lithium-Ion Battery Models via Bayesian Quadrature [15.427086271923445]
  本稿ではベイズモデル選択手法を提案する。 モデルエビデンスを選択基準として採用し、データを記述する最も単純なモデルを選択する。 我々は,ルート平均二乗誤差やベイズ情報基準のような一般的なモデル選択基準が,多重モーダル後部の場合の擬似モデルの選択に失敗することを示した。
  論文  参考訳（メタデータ） (2022-10-28T15:24:17Z)
• Bayesian Model Selection, the Marginal Likelihood, and Generalization [49.19092837058752]
  まず,学習制約と仮説テストの限界的可能性の魅力について再考する。 ニューラルアーキテクチャ探索において,限界確率が一般化と負の相関関係を持つことが示唆された。 また, 限界確率とPAC-Bayes境界との接続を再検討し, モデル選択における限界確率の欠点をさらに解明するためにこの接続を利用する。
  論文  参考訳（メタデータ） (2022-02-23T18:38:16Z)
• Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap [4.142720557665472]
  リッジレグレッションは、デバイアスとしきい値の設定の後、Lassoに対していくつかの利点をもたらすので、見直す価値があるかもしれない。 本稿では,デバイアス付き及びしきい値付きリッジ回帰法を定義し,一貫性とガウス近似の定理を証明した。 推定に加えて予測の問題も考慮し,予測間隔に合わせた新しいハイブリッドブートストラップアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T05:04:10Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。