論文の概要: Black Box Variational Inference with a Deterministic Objective: Faster, More Accurate, and Even More Black Box

• arxiv url: http://arxiv.org/abs/2304.05527v4
• Date: Wed, 17 Jan 2024 20:16:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 20:41:31.906661
• Title: Black Box Variational Inference with a Deterministic Objective: Faster, More Accurate, and Even More Black Box
• Title（参考訳）: 決定論的目的を持つブラックボックス変分推論:より速く、より正確で、さらにブラックボックス
• Authors: Ryan Giordano, Martin Ingram, Tamara Broderick
• Abstract要約: 決定論的ADVI(DADVI)を導入し,ADVIの問題点に対処する。 DADVIは、難解なMFVBの目的を固定されたモンテカルロ近似に置き換える。 DADVIとSAAは,非常に高次元であっても比較的少数の試料で良好な性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 14.362625828893654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic differentiation variational inference (ADVI) offers fast and easy-to-use posterior approximation in multiple modern probabilistic programming languages. However, its stochastic optimizer lacks clear convergence criteria and requires tuning parameters. Moreover, ADVI inherits the poor posterior uncertainty estimates of mean-field variational Bayes (MFVB). We introduce "deterministic ADVI" (DADVI) to address these issues. DADVI replaces the intractable MFVB objective with a fixed Monte Carlo approximation, a technique known in the stochastic optimization literature as the "sample average approximation" (SAA). By optimizing an approximate but deterministic objective, DADVI can use off-the-shelf second-order optimization, and, unlike standard mean-field ADVI, is amenable to more accurate posterior covariances via linear response (LR). In contrast to existing worst-case theory, we show that, on certain classes of common statistical problems, DADVI and the SAA can perform well with relatively few samples even in very high dimensions, though we also show that such favorable results cannot extend to variational approximations that are too expressive relative to mean-field ADVI. We show on a variety of real-world problems that DADVI reliably finds good solutions with default settings (unlike ADVI) and, together with LR covariances, is typically faster and more accurate than standard ADVI.
• Abstract（参考訳）: 自動微分変分推論(ADVI)は、複数の現代の確率的プログラミング言語において、高速で使いやすい後部近似を提供する。 しかし、確率最適化器には明確な収束基準がなく、チューニングパラメータが必要である。 さらにadviは平均場変動ベイズ(mfvb)の後方不確かさの少ない推定を継承している。 これらの問題に対処するために, 決定論的ADVI (DADVI) を導入する。 DADVIは、難解なMFVBの目的を固定されたモンテカルロ近似(英語版)に置き換え、これは確率最適化の文献で「サンプル平均近似」(SAA)として知られている技法である。 近似的だが決定論的な目的を最適化することにより、DADVIはオフザシェルフの2階最適化を使用でき、標準平均場ADVIとは異なり、線形応答(LR)を介してより正確な後続共分散を実現できる。 既存の最悪のケース理論とは対照的に、DADVIとSAAは、非常に高次元であっても比較的少数のサンプルでうまく機能するが、そのような好ましい結果は平均場ADVIに比例しすぎる変動近似にまで拡張できないことも示している。 DADVIがデフォルト設定(ADVIとは違って)で適切な解を確実に見つけ出すような現実世界の様々な問題を示し、LR共分散とともに、通常標準のADVIよりも高速で正確である。

関連論文リスト

• A Trust-Region Method for Graphical Stein Variational Inference [3.5516599670943774]
  スタイン変分法 (SVI) は、サンプル位置を情報理論尺度に共同最適化してサンプルセットを生成するサンプルベースの近似推論手法である。 本稿では,これらの課題に対処する新しい信頼条件付きアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:59:01Z)
• Batch and match: black-box variational inference with a score-based divergence [26.873037094654826]
  スコアに基づく発散に基づくブラックボックス変分推論(BBVI)の代替手法としてバッチ・アンド・マッチ(BaM)を提案する。 ELBO に基づく BBVI の先行実装よりもBaM の収束度が低いことを示す。
  論文  参考訳（メタデータ） (2024-02-22T18:20:22Z)
• Amortized Variational Inference: When and Why? [17.1222896154385]
  償却変分推論(A-VI)は共通の推論関数を学習し、各観測結果を対応する潜伏変数の近似後方にマッピングする。 A-VI が F-VI の最適解を得るために必要で十分かつ検証可能な潜在変数モデル上で条件を導出する。
  論文  参考訳（メタデータ） (2023-07-20T16:45:22Z)
• On the Convergence of Black-Box Variational Inference [16.895490556279647]
  完全ブラックボックス変分推論(BBVI)の最初の収束保証を提供する。 以上の結果より, 対数平滑な後部密度と対数凹凸が強く, 位置スケールの変動が認められなかった。
  論文  参考訳（メタデータ） (2023-05-24T16:59:50Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
  構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。 近年の進歩により、観測データからDAGの有効最大点推定が可能となった。 線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
  論文  参考訳（メタデータ） (2021-12-06T03:35:21Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。