論文の概要: Bayesian Model Selection, the Marginal Likelihood, and Generalization

• arxiv url: http://arxiv.org/abs/2202.11678v1
• Date: Wed, 23 Feb 2022 18:38:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 15:06:40.805561
• Title: Bayesian Model Selection, the Marginal Likelihood, and Generalization
• Title（参考訳）: ベイズモデルの選択、限界可能性、一般化
• Authors: Sanae Lotfi, Pavel Izmailov, Gregory Benton, Micah Goldblum, Andrew Gordon Wilson
• Abstract要約: まず,学習制約と仮説テストの限界的可能性の魅力について再考する。 次に、一般化の代用として限界確率を用いる際の概念的および実践的な問題を強調する。 ニューラルアーキテクチャ探索において,限界確率が一般化と負の相関関係を持つことが示唆された。
• 参考スコア（独自算出の注目度）: 49.19092837058752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How do we compare between hypotheses that are entirely consistent with observations? The marginal likelihood (aka Bayesian evidence), which represents the probability of generating our observations from a prior, provides a distinctive approach to this foundational question, automatically encoding Occam's razor. Although it has been observed that the marginal likelihood can overfit and is sensitive to prior assumptions, its limitations for hyperparameter learning and discrete model comparison have not been thoroughly investigated. We first revisit the appealing properties of the marginal likelihood for learning constraints and hypothesis testing. We then highlight the conceptual and practical issues in using the marginal likelihood as a proxy for generalization. Namely, we show how marginal likelihood can be negatively correlated with generalization, with implications for neural architecture search, and can lead to both underfitting and overfitting in hyperparameter learning. We provide a partial remedy through a conditional marginal likelihood, which we show is more aligned with generalization, and practically valuable for large-scale hyperparameter learning, such as in deep kernel learning.
• Abstract（参考訳）: 観測と完全に一致した仮説を比較するにはどうすればよいのか? 境界確率(ベイズ証拠とも呼ばれる)は、前者から観測結果を生成する確率を表し、occamのカミソリを自動的にエンコードするこの基礎的問題に対する独特のアプローチを提供する。 余剰確率がオーバーフィットし、事前の仮定に敏感であることが観察されているが、ハイパーパラメータ学習と離散モデル比較の限界は十分には研究されていない。 まず,学習制約や仮説テストに対する限界確率の魅力について再検討する。 次に、一般化の代用として限界確率を用いる際の概念的および実践的な問題を強調する。 具体的には,超パラメータ学習における不適合と過剰フィッティングの両面において,神経アーキテクチャ探索の意義から,限界可能性と一般化との負の相関性を示す。 本稿では,より一般化に整合した条件付き辺縁確率による部分的治療を行い,カーネル学習などの大規模ハイパーパラメータ学習に有用であることを示す。

関連論文リスト

• Hypothesis Testing for Class-Conditional Noise Using Local Maximum Likelihood [1.8798171797988192]
  教師付き学習では、学習が行われる前にラベルの質を自動的に評価することがオープンな研究課題である。 本稿では,本モデルが局所極大近似推定の積である場合,同様の手順を踏襲できることを示す。 この異なるビューは、よりリッチなモデルクラスへのアクセスを提供することで、テストのより広範な適用を可能にする。
  論文  参考訳（メタデータ） (2023-12-15T22:14:58Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Leveraging Self-Consistency for Data-Efficient Amortized Bayesian Inference [9.940560505044122]
  本稿では,償却ベイズ推定の効率と精度を向上させる手法を提案する。 我々は,関節モデルの近似表現に基づいて限界確率を推定する。
  論文  参考訳（メタデータ） (2023-10-06T17:41:41Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• The Causal Marginal Polytope for Bounding Treatment Effects [9.196779204457059]
  グローバル因果モデルを構築することなく因果関係を同定する手法を提案する。 我々は,グローバル因果モデルを構築することなく,因果モデルの限界とデータとの整合性を強制する。 我々はこの局所的に一貫した辺縁の集合を、因果的辺縁ポリトープと呼ぶ。
  論文  参考訳（メタデータ） (2022-02-28T15:08:22Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。