論文の概要: f-Divergence Variational Inference

• arxiv url: http://arxiv.org/abs/2009.13093v4
• Date: Sat, 3 Apr 2021 16:33:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 21:33:06.921417
• Title: f-Divergence Variational Inference
• Title（参考訳）: f‐divergence variation
• Authors: Neng Wan, Dapeng Li, and Naira Hovakimyan
• Abstract要約: $f$-VIフレームワークは、既存のVIメソッドを統一する。 一般の$f$-変数境界が導出され、限界確率(または証拠)のサンドイッチ推定を提供する。 また、f$-VIに対して、よく知られた座標のアセント変分推論を一般化する平均場近似スキームを提案する。
• 参考スコア（独自算出の注目度）: 9.172478956440216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces the $f$-divergence variational inference ($f$-VI) that generalizes variational inference to all $f$-divergences. Initiated from minimizing a crafty surrogate $f$-divergence that shares the statistical consistency with the $f$-divergence, the $f$-VI framework not only unifies a number of existing VI methods, e.g. Kullback-Leibler VI, R\'{e}nyi's $\alpha$-VI, and $\chi$-VI, but offers a standardized toolkit for VI subject to arbitrary divergences from $f$-divergence family. A general $f$-variational bound is derived and provides a sandwich estimate of marginal likelihood (or evidence). The development of the $f$-VI unfolds with a stochastic optimization scheme that utilizes the reparameterization trick, importance weighting and Monte Carlo approximation; a mean-field approximation scheme that generalizes the well-known coordinate ascent variational inference (CAVI) is also proposed for $f$-VI. Empirical examples, including variational autoencoders and Bayesian neural networks, are provided to demonstrate the effectiveness and the wide applicability of $f$-VI.
• Abstract（参考訳）: 本稿では、すべての$f$-divergencesに対して変分推論を一般化する$f$-divergence variational inference(f$-VI)を紹介する。 統計的一貫性を$f$-divergenceと共有するクラフトサロゲート$f$-divergenceの最小化から始まり、$f$-VIフレームワークは、Kullback-Leibler VI、R\'{e}nyi's $\alpha$-VI、$\chi$-VIなど、既存のVIメソッドを統一するだけでなく、$f$-divergenceファミリから任意の発散するVIの標準ツールキットを提供する。 一般の$f$-変数境界が導出され、限界確率(または証拠)のサンドイッチ推定を提供する。 再パラメータ化トリック、重要度重み付け、モンテカルロ近似を利用した確率的最適化スキームによる$f$-viの展開、よく知られた座標上昇変分推論(cavi)を一般化する平均場近似スキームも$f$-viとして提案されている。 例えば、変分オートエンコーダやベイズニューラルネットワークは、$f$-viの有効性と幅広い適用性を示すために提供されている。

関連論文リスト

• $f$-PO: Generalizing Preference Optimization with $f$-divergence Minimization [91.43730624072226]
  $f$-POは、既存のアプローチを一般化し拡張する新しいフレームワークである。 ベンチマークデータセットを用いて最先端言語モデルの実験を行う。
  論文  参考訳（メタデータ） (2024-10-29T02:11:45Z)
• Theoretical Convergence Guarantees for Variational Autoencoders [2.8167997311962942]
  変分オートエンコーダ(VAE)は、複雑なデータ分布からサンプリングするために使われる一般的な生成モデルである。 本稿では, グラディエントDescentアルゴリズムとAdamアルゴリズムの両方を用いてトレーニングしたVAEに対して, 非漸近収束保証を提供することにより, このギャップを埋めることを目的とする。 我々の理論的分析は、Linear VAEとDeep Gaussian VAEの両方、および$beta$-VAEやIWAEを含むいくつかのVAEの変種に適用できる。
  論文  参考訳（メタデータ） (2024-10-22T07:12:38Z)
• Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation [2.2656885622116394]
  変分推論 (VI) は高次元ベイズモデルに対する近似推論の一般的な方法として登場した。 エントロピー正則化を通したナイーブ平均場を拡張する新しいVI法を提案する。 我々は,$Xi$-variational rearsが真の後縁依存性を効果的に回復することを示した。
  論文  参考訳（メタデータ） (2024-04-14T01:40:11Z)
• Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [45.935798913942904]
  経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。 関数の特定の選択に対する解の例は、$f$である。
  論文  参考訳（メタデータ） (2024-02-01T11:12:00Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Solving Constrained Variational Inequalities via an Interior Point Method [88.39091990656107]
  制約付き変分不等式(cVI)問題を解くためのインテリアポイントアプローチを開発する。 本稿では,2種類の問題においてACVIの収束保証を提供する。 この設定における以前の作業とは異なり、ACVIは制約が自明でない場合にcVIを解く手段を提供する。
  論文  参考訳（メタデータ） (2022-06-21T17:55:13Z)
• Moreau-Yosida $f$-divergences [0.0]
  $f$-divergencesの変分表現は多くの機械学習アルゴリズムの中心である。 コンパクト計量空間上の確率測度の場合、$f$-divergencesのいわゆるタイトな変動表現を一般化する。 我々は、Kullback-Leibler, reverse Kullback-Leibler, $chi2$, reverse $chi2$, squared Hellinger, Jensen-Shannon, Jeffreys, triangular discrimination and total variation divergencesの変分式の実装を提供する。
  論文  参考訳（メタデータ） (2021-02-26T11:46:10Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Meta-Learning Divergences of Variational Inference [49.164944557174294]
  変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。 本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。 提案手法はガウス混合分布近似の標準VIより優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-06T17:43:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。