論文の概要: On the Robustness to Misspecification of $\alpha$-Posteriors and Their Variational Approximations

• arxiv url: http://arxiv.org/abs/2104.08324v1
• Date: Fri, 16 Apr 2021 19:11:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:21:45.152606
• Title: On the Robustness to Misspecification of $\alpha$-Posteriors and Their Variational Approximations
• Title（参考訳）: $\alpha$-Posteriorの誤用に対するロバスト性とその変分近似について
• Authors: Marco Avella Medina and Jos\'e Luis Montiel Olea and Cynthia Rush and Amilcar Velez
• Abstract要約: $alpha$-posteriorとその変分近似は、確率を下げ、変分近似エラーを導入することで標準後部推論を歪ませる。 このような歪みが適切に調整されると、潜在的なパラメトリックモデルの誤仕様がある場合、Kulback-Leibler (KL) の真の分散が、おそらく実現不可能な、後方分布が減少することを示した。
• 参考スコア（独自算出の注目度）: 12.52149409594807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: $\alpha$-posteriors and their variational approximations distort standard posterior inference by downweighting the likelihood and introducing variational approximation errors. We show that such distortions, if tuned appropriately, reduce the Kullback-Leibler (KL) divergence from the true, but perhaps infeasible, posterior distribution when there is potential parametric model misspecification. To make this point, we derive a Bernstein-von Mises theorem showing convergence in total variation distance of $\alpha$-posteriors and their variational approximations to limiting Gaussian distributions. We use these distributions to evaluate the KL divergence between true and reported posteriors. We show this divergence is minimized by choosing $\alpha$ strictly smaller than one, assuming there is a vanishingly small probability of model misspecification. The optimized value becomes smaller as the the misspecification becomes more severe. The optimized KL divergence increases logarithmically in the degree of misspecification and not linearly as with the usual posterior.
• Abstract（参考訳）: $\alpha$-posteriorとその変分近似は、確率を下げ、変分近似エラーを導入することで標準後部推論を歪ませる。 このような歪みが適切に調整された場合、KL(Kullback-Leibler)の発散を真から減少させるが、おそらくパラメトリックモデルの誤特定がある場合、後続分布を減少させる。 これを実現するために、$\alpha$-posteriors の総変分距離の収束とガウス分布の制限に対するそれらの変分近似を示すベルンシュタイン・ヴォン・ミセスの定理を導出する。 我々はこれらの分布を用いて、真と報告後におけるKLのばらつきを評価する。 この発散はモデルの誤特定の可能性が無限に小さいと仮定して、1より厳密に小さい$\alpha$を選択することで最小化される。 誤特定が深刻になるにつれて、最適化された値が小さくなります。 最適化されたKL分散は、不特定性の度合いにおいて対数的に増加し、通常の後部ほど線形ではない。

関連論文リスト

• Predictive variational inference: Learn the predictively optimal posterior distribution [1.7648680700685022]
  バニラ変量推論はベイズ後部分布に最適な近似を求めるが、正確なベイズ後部分布でさえモデル的不特定の下では意味がないことが多い。 本稿では,最適後続密度から標本を探索する一般推論フレームワークである予測変分推論(PVI)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T19:44:57Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
  我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。 提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-25T16:38:53Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Variational Prediction [95.00085314353436]
  本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。 このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
  論文  参考訳（メタデータ） (2023-07-14T18:19:31Z)
• Function-space regularized R\'enyi divergences [6.221019624345409]
  変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。 これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。 提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
  論文  参考訳（メタデータ） (2022-10-10T19:18:04Z)
• On the detrimental effect of invariances in the likelihood for variational inference [21.912271882110986]
  変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。 これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
  論文  参考訳（メタデータ） (2022-09-15T09:13:30Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• On Misspecification in Prediction Problems and Robustness via Improper Learning [23.64462813525688]
  広い種類の損失関数とパラメトリック分布の族に対して、"プロパ"予測子をプレイしたことの後悔は、少なくとも$sqrtgamma n$として境界スケーリングを下げていることが示される。 パラメトリックファミリーの凸体で分布を再生する可能性のあるすべての学習者の家族にしても、これは改善できない例を示します。
  論文  参考訳（メタデータ） (2021-01-13T17:54:08Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)
• The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks [46.677567663908185]
  変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。 最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。 これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
  論文  参考訳（メタデータ） (2020-02-07T07:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。