論文の概要: On the Robustness to Misspecification of $\alpha$-Posteriors and Their
Variational Approximations
- arxiv url: http://arxiv.org/abs/2104.08324v1
- Date: Fri, 16 Apr 2021 19:11:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:21:45.152606
- Title: On the Robustness to Misspecification of $\alpha$-Posteriors and Their
Variational Approximations
- Title(参考訳): $\alpha$-Posteriorの誤用に対するロバスト性とその変分近似について
- Authors: Marco Avella Medina and Jos\'e Luis Montiel Olea and Cynthia Rush and
Amilcar Velez
- Abstract要約: $alpha$-posteriorとその変分近似は、確率を下げ、変分近似エラーを導入することで標準後部推論を歪ませる。
このような歪みが適切に調整されると、潜在的なパラメトリックモデルの誤仕様がある場合、Kulback-Leibler (KL) の真の分散が、おそらく実現不可能な、後方分布が減少することを示した。
- 参考スコア(独自算出の注目度): 12.52149409594807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: $\alpha$-posteriors and their variational approximations distort standard
posterior inference by downweighting the likelihood and introducing variational
approximation errors. We show that such distortions, if tuned appropriately,
reduce the Kullback-Leibler (KL) divergence from the true, but perhaps
infeasible, posterior distribution when there is potential parametric model
misspecification. To make this point, we derive a Bernstein-von Mises theorem
showing convergence in total variation distance of $\alpha$-posteriors and
their variational approximations to limiting Gaussian distributions. We use
these distributions to evaluate the KL divergence between true and reported
posteriors. We show this divergence is minimized by choosing $\alpha$ strictly
smaller than one, assuming there is a vanishingly small probability of model
misspecification. The optimized value becomes smaller as the the
misspecification becomes more severe. The optimized KL divergence increases
logarithmically in the degree of misspecification and not linearly as with the
usual posterior.
- Abstract(参考訳): $\alpha$-posteriorとその変分近似は、確率を下げ、変分近似エラーを導入することで標準後部推論を歪ませる。
このような歪みが適切に調整された場合、KL(Kullback-Leibler)の発散を真から減少させるが、おそらくパラメトリックモデルの誤特定がある場合、後続分布を減少させる。
これを実現するために、$\alpha$-posteriors の総変分距離の収束とガウス分布の制限に対するそれらの変分近似を示すベルンシュタイン・ヴォン・ミセスの定理を導出する。
我々はこれらの分布を用いて、真と報告後におけるKLのばらつきを評価する。
この発散はモデルの誤特定の可能性が無限に小さいと仮定して、1より厳密に小さい$\alpha$を選択することで最小化される。
誤特定が深刻になるにつれて、最適化された値が小さくなります。
最適化されたKL分散は、不特定性の度合いにおいて対数的に増加し、通常の後部ほど線形ではない。
関連論文リスト
- Variational Prediction [95.00085314353436]
本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。
このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
論文 参考訳(メタデータ) (2023-07-14T18:19:31Z) - Function-space regularized R\'enyi divergences [6.221019624345409]
変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。
これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。
提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
論文 参考訳(メタデータ) (2022-10-10T19:18:04Z) - On the detrimental effect of invariances in the likelihood for
variational inference [21.912271882110986]
変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。
これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
論文 参考訳(メタデータ) (2022-09-15T09:13:30Z) - Sliced Wasserstein Variational Inference [3.405431122165563]
最適輸送から生じる有効な計量であるスライスされたワッサーシュタイン距離を最小化することで,新しい変分推定法を提案する。
我々の近似は、ニューラルネットワークのようなジェネレータによって近似ファミリーを再生できるように、変動分布の引き込み可能な密度関数も必要としない。
論文 参考訳(メタデータ) (2022-07-26T20:51:51Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Convergence Rates of Stochastic Gradient Descent under Infinite Noise
Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。
SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。
その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文 参考訳(メタデータ) (2021-02-20T13:45:11Z) - On Misspecification in Prediction Problems and Robustness via Improper
Learning [23.64462813525688]
広い種類の損失関数とパラメトリック分布の族に対して、"プロパ"予測子をプレイしたことの後悔は、少なくとも$sqrtgamma n$として境界スケーリングを下げていることが示される。
パラメトリックファミリーの凸体で分布を再生する可能性のあるすべての学習者の家族にしても、これは改善できない例を示します。
論文 参考訳(メタデータ) (2021-01-13T17:54:08Z) - Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。
単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
論文 参考訳(メタデータ) (2020-02-26T16:37:37Z) - The k-tied Normal Distribution: A Compact Parameterization of Gaussian
Mean Field Posteriors in Bayesian Neural Networks [46.677567663908185]
変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。
最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。
これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
論文 参考訳(メタデータ) (2020-02-07T07:33:15Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳(メタデータ) (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。