論文の概要: Challenges and Opportunities in High-dimensional Variational Inference
- arxiv url: http://arxiv.org/abs/2103.01085v1
- Date: Mon, 1 Mar 2021 15:53:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 16:58:57.154906
- Title: Challenges and Opportunities in High-dimensional Variational Inference
- Title（参考訳）: 高次元変分推論の挑戦と機会
- Authors: Akash Kumar Dhaka, Alejandro Catalina, Manushi Welandawe, Michael Riis
Andersen, Jonathan Huggins, Aki Vehtari
- Abstract要約: 低次元後肢に対する近似家族と多様性に関する直観が高次元後肢に失敗する理由を示す。
高次元後方に対しては、最適化が最も容易かつ安定な排他的KL発散を用いることを推奨する。
低から中程度の次元では、重尾の変異族と質量被覆の分岐は、重要サンプリングによって近似を改善できる可能性を高めることができる。
- 参考スコア（独自算出の注目度）: 65.53746326245059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We explore the limitations of and best practices for using black-box
variational inference to estimate posterior summaries of the model parameters.
By taking an importance sampling perspective, we are able to explain and
empirically demonstrate: 1) why the intuitions about the behavior of
approximate families and divergences for low-dimensional posteriors fail for
higher-dimensional posteriors, 2) how we can diagnose the pre-asymptotic
reliability of variational inference in practice by examining the behavior of
the density ratios (i.e., importance weights), 3) why the choice of variational
objective is not as relevant for higher-dimensional posteriors, and 4) why,
although flexible variational families can provide some benefits in higher
dimensions, they also introduce additional optimization challenges. Based on
these findings, for high-dimensional posteriors we recommend using the
exclusive KL divergence that is most stable and easiest to optimize, and then
focusing on improving the variational family or using model parameter
transformations to make the posterior more similar to the approximating family.
Our results also show that in low to moderate dimensions, heavy-tailed
variational families and mass-covering divergences can increase the chances
that the approximation can be improved by importance sampling.
- Abstract（参考訳）: 本稿では,ブラックボックス変分推論を用いたモデルパラメータの後方要約推定の限界とベストプラクティスについて検討する。
By taking an importance sampling perspective, we are able to explain and empirically demonstrate: 1) why the intuitions about the behavior of approximate families and divergences for low-dimensional posteriors fail for higher-dimensional posteriors, 2) how we can diagnose the pre-asymptotic reliability of variational inference in practice by examining the behavior of the density ratios (i.e., importance weights), 3) why the choice of variational objective is not as relevant for higher-dimensional posteriors, and 4) why, although flexible variational families can provide some benefits in higher dimensions, they also introduce additional optimization challenges.
これらの知見に基づき, 高次元後方では, 最適化が最も容易かつ安定な排他的KL偏差を用いた上で, 変分族の改善やモデルパラメータ変換による近似族との類似性を高めることに注力することを推奨する。
また,低次元から中等次元では重尾の変動族や集団被覆の分岐が重要サンプリングによって近似を改善できる可能性が示唆された。
関連論文リスト
- Towards Improved Variational Inference for Deep Bayesian Models [7.841254447222393]
本論では,変分推論(VI)を近似として用いることを検討する。
VI は後部を同時に近似し、限界度に低い境界を与えるという点で特異である。
本稿ではベイズニューラルネットワークと深いガウス過程における推論の統一的なビューを提供する変分後部を提案する。
論文 参考訳（メタデータ） (2024-01-23T00:40:20Z) - Forward $\chi^2$ Divergence Based Variational Importance Sampling [2.841087763205822]
本稿では,ログ類似度を直接推定し,最大化する新しい変動重要度サンプリング(VIS)手法を提案する。
我々は、混合モデル、変分自動エンコーダ、部分的に観測可能な一般化線形モデルなど、様々な一般的な潜在変数モデルにVISを適用する。
論文 参考訳（メタデータ） (2023-11-04T21:46:28Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - High Dimensional Causal Inference with Variational Backdoor Adjustment [57.31312942774617]
我々は,高次元治療と共同設立者のバックドア調整のための生成的モデリングアプローチを採っている。
半合成X線医療データを含む多種多様な高次元環境における介入可能性の推定が可能となる。
論文 参考訳（メタデータ） (2023-10-09T19:21:41Z) - Reparameterized Variational Rejection Sampling [12.189621777178354]
変動リジェクションサンプリング(VRS)は、パラメータ提案分布とサンプリングリジェクションを組み合わせて、リッチな非パラメトリック分布の族を定義する。
提案手法は,実運用において良好に動作し,特に局所潜伏変数を持つモデルではブラックボックス推論に適していることを示す。
論文 参考訳（メタデータ） (2023-09-26T01:46:53Z) - A Tutorial on Parametric Variational Inference [0.0]
変分推論は、多くの高次元モデルや大きなデータセットに好まれる選択である。
このチュートリアルでは,近年の展開を左右するパラメトリックな観点からの変分推論を紹介する。
論文 参考訳（メタデータ） (2023-01-03T17:30:50Z) - Monotonicity and Double Descent in Uncertainty Estimation with Gaussian
Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。
我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。
また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文 参考訳（メタデータ） (2022-10-14T08:09:33Z) - Evaluating Sensitivity to the Stick-Breaking Prior in Bayesian
Nonparametrics [85.31247588089686]
変分ベイズ法はベイズモデルのパラメトリック的および非パラメトリック的側面に対して感性が得られることを示す。
ベイズ感度分析に対する変動的アプローチの理論的および経験的支援を提供する。
論文 参考訳（メタデータ） (2021-07-08T03:40:18Z) - Variational Causal Networks: Approximate Bayesian Inference over Causal
Structures [132.74509389517203]
離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。
実験では,提案した変分後部が真の後部を良好に近似できることを示した。
論文 参考訳（メタデータ） (2021-06-14T17:52:49Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。