論文の概要: f-Divergence Variational Inference
- arxiv url: http://arxiv.org/abs/2009.13093v4
- Date: Sat, 3 Apr 2021 16:33:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 21:33:06.921417
- Title: f-Divergence Variational Inference
- Title(参考訳): f‐divergence variation
- Authors: Neng Wan, Dapeng Li, and Naira Hovakimyan
- Abstract要約: $f$-VIフレームワークは、既存のVIメソッドを統一する。
一般の$f$-変数境界が導出され、限界確率(または証拠)のサンドイッチ推定を提供する。
また、f$-VIに対して、よく知られた座標のアセント変分推論を一般化する平均場近似スキームを提案する。
- 参考スコア(独自算出の注目度): 9.172478956440216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces the $f$-divergence variational inference ($f$-VI) that
generalizes variational inference to all $f$-divergences. Initiated from
minimizing a crafty surrogate $f$-divergence that shares the statistical
consistency with the $f$-divergence, the $f$-VI framework not only unifies a
number of existing VI methods, e.g. Kullback-Leibler VI, R\'{e}nyi's
$\alpha$-VI, and $\chi$-VI, but offers a standardized toolkit for VI subject to
arbitrary divergences from $f$-divergence family. A general $f$-variational
bound is derived and provides a sandwich estimate of marginal likelihood (or
evidence). The development of the $f$-VI unfolds with a stochastic optimization
scheme that utilizes the reparameterization trick, importance weighting and
Monte Carlo approximation; a mean-field approximation scheme that generalizes
the well-known coordinate ascent variational inference (CAVI) is also proposed
for $f$-VI. Empirical examples, including variational autoencoders and Bayesian
neural networks, are provided to demonstrate the effectiveness and the wide
applicability of $f$-VI.
- Abstract(参考訳): 本稿では、すべての$f$-divergencesに対して変分推論を一般化する$f$-divergence variational inference(f$-VI)を紹介する。
統計的一貫性を$f$-divergenceと共有するクラフトサロゲート$f$-divergenceの最小化から始まり、$f$-VIフレームワークは、Kullback-Leibler VI、R\'{e}nyi's $\alpha$-VI、$\chi$-VIなど、既存のVIメソッドを統一するだけでなく、$f$-divergenceファミリから任意の発散するVIの標準ツールキットを提供する。
一般の$f$-変数境界が導出され、限界確率(または証拠)のサンドイッチ推定を提供する。
再パラメータ化トリック、重要度重み付け、モンテカルロ近似を利用した確率的最適化スキームによる$f$-viの展開、よく知られた座標上昇変分推論(cavi)を一般化する平均場近似スキームも$f$-viとして提案されている。
例えば、変分オートエンコーダやベイズニューラルネットワークは、$f$-viの有効性と幅広い適用性を示すために提供されている。
関連論文リスト
- Equivalence of the Empirical Risk Minimization to Regularization on the
Family of f-Divergences [49.853843995972085]
経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。
関数の特定の選択に対する解の例は、$f$である。
論文 参考訳(メタデータ) (2024-02-01T11:12:00Z) - Amortized Variational Inference: When and Why? [20.22771696362086]
償却変分推論(A-VI)は共通の推論関数を学習し、各観測結果を対応する潜伏変数の近似後方にマッピングする。
A-VI が F-VI の最適解を得るために必要で十分かつ検証可能な潜在変数モデル上で条件を導出する。
論文 参考訳(メタデータ) (2023-07-20T16:45:22Z) - On the Convergence of Coordinate Ascent Variational Inference [11.166959724276337]
平均場 (MF) VI を実装するための共通座標アセント変分推論 (CAVI) アルゴリズムについて検討する。
我々はCAVIの大域的あるいは局所的な指数収束を証明するための一般的な条件を提供する。
目的関数に影響を及ぼす構成ブロック間の相互作用を特徴付けるための一般化相関の新しい概念を紹介する。
論文 参考訳(メタデータ) (2023-06-01T20:19:30Z) - A Primal-dual Approach for Solving Variational Inequalities with
General-form Constraints [81.32297040574083]
Yang et al. (2023) は最近、一階法により等式と不等式制約で変分不等式 (VIs) を解くというオープンな問題に対処した。
本稿では,各イテレーションで約1つのサブプロブレムを解くウォームスタート手法を採用する。
我々はこの収束を証明し、演算子が$L$-Lipschitz および monotone であるとき、この不正確な-ACVI 法の最後の繰り返しのギャップ関数が $mathcalO(frac1sqrtK)$ で減少することを示す。
論文 参考訳(メタデータ) (2022-10-27T17:59:09Z) - Exact Manifold Gaussian Variational Bayes [76.95091121622674]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を暗黙的に満足するガウス変分推論の効率的なアルゴリズムを開発する。
ブラックボックスの性質のため、EMGVBは複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳(メタデータ) (2022-10-26T10:12:31Z) - Solving Constrained Variational Inequalities via an Interior Point
Method [88.39091990656107]
制約付き変分不等式(cVI)問題を解くためのインテリアポイントアプローチを開発する。
本稿では,2種類の問題においてACVIの収束保証を提供する。
この設定における以前の作業とは異なり、ACVIは制約が自明でない場合にcVIを解く手段を提供する。
論文 参考訳(メタデータ) (2022-06-21T17:55:13Z) - Moreau-Yosida $f$-divergences [0.0]
$f$-divergencesの変分表現は多くの機械学習アルゴリズムの中心である。
コンパクト計量空間上の確率測度の場合、$f$-divergencesのいわゆるタイトな変動表現を一般化する。
我々は、Kullback-Leibler, reverse Kullback-Leibler, $chi2$, reverse $chi2$, squared Hellinger, Jensen-Shannon, Jeffreys, triangular discrimination and total variation divergencesの変分式の実装を提供する。
論文 参考訳(メタデータ) (2021-02-26T11:46:10Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳(メタデータ) (2021-01-15T11:39:09Z) - Meta-Learning Divergences of Variational Inference [49.164944557174294]
変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。
本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。
提案手法はガウス混合分布近似の標準VIより優れていることを示す。
論文 参考訳(メタデータ) (2020-07-06T17:43:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。