論文の概要: Amortized Variational Inference: When and Why?

• arxiv url: http://arxiv.org/abs/2307.11018v3
• Date: Tue, 13 Feb 2024 16:33:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 19:44:38.376618
• Title: Amortized Variational Inference: When and Why?
• Title（参考訳）: Amortized Variational Inference: When and Why?
• Authors: Charles C. Margossian and David M. Blei
• Abstract要約: 償却変分推論(A-VI)は共通の推論関数を学習し、各観測結果を対応する潜伏変数の近似後方にマッピングする。 A-VI が F-VI の最適解を得るために必要で十分かつ検証可能な潜在変数モデル上で条件を導出する。
• 参考スコア（独自算出の注目度）: 20.22771696362086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a probabilistic latent variable model, factorized (or mean-field) variational inference (F-VI) fits a separate parametric distribution for each latent variable. Amortized variational inference (A-VI) instead learns a common inference function, which maps each observation to its corresponding latent variable's approximate posterior. Typically, A-VI is used as a cog in the training of variational autoencoders, however it stands to reason that A-VI could also be used as a general alternative to F-VI. In this paper we study when and why A-VI can be used for approximate Bayesian inference. We derive conditions on a latent variable model which are necessary, sufficient, and verifiable under which A-VI can attain F-VI's optimal solution, thereby closing the amortization gap. We prove these conditions are uniquely verified by simple hierarchical models, a broad class that encompasses many models in machine learning. We then show, on a broader class of models, how to expand the domain of AVI's inference function to improve its solution, and we provide examples, e.g. hidden Markov models, where the amortization gap cannot be closed.
• Abstract（参考訳）: 確率潜在変数モデルでは、因子化(または平均場)変分推論(F-VI)は各潜時変数に対して別のパラメトリック分布に適合する。 amortized variational inference (a-vi) は、代わりに共通の推論関数を学習し、各観測結果を対応する潜在変数の近似後方にマッピングする。 通常、A-VIは変分オートエンコーダの訓練においてコグとして使用されるが、A-VIがF-VIの一般的な代替品としても使用できる理由である。 本稿では,ベイズ近似にA-VIをいつ,なぜ利用できるのかを考察する。 A-VI が F-VI の最適解を得るために必要で十分かつ検証可能な潜在変数モデル上で条件を導出し,アモータイズギャップを閉じる。 これらの条件は、機械学習において多くのモデルを含む幅広いクラスである単純な階層モデルによって一意に検証される。 次に、より広範なモデルのクラスにおいて、AVIの推論関数の領域を拡張してその解を改善する方法を示し、例えば隠れマルコフモデルのように、償却ギャップを閉じることができないような例を示す。

関連論文リスト

• SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
  変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。 ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。 我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-22T14:54:12Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• PAVI: Plate-Amortized Variational Inference [55.975832957404556]
  数百人の被験者のコホート上で何百万もの計測が行われる大集団研究において、推論は困難である。 この大きな濃度は、オフザシェルフ変分推論(VI)を計算的に非現実的である。 本研究では,大集団研究に効率よく取り組む構造VIファミリーを設計する。
  論文  参考訳（メタデータ） (2023-08-30T13:22:20Z)
• Black Box Variational Inference with a Deterministic Objective: Faster, More Accurate, and Even More Black Box [14.362625828893654]
  決定論的ADVI(DADVI)を導入し,ADVIの問題点に対処する。 DADVIは、難解なMFVBの目的を固定されたモンテカルロ近似に置き換える。 DADVIとSAAは,非常に高次元であっても比較的少数の試料で良好な性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-04-11T22:45:18Z)
• Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
  データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。 既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。 本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
  論文  参考訳（メタデータ） (2022-03-11T10:47:16Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• An Introduction to Variational Inference [0.0]
  本稿では,変分推論(VI)の概念を紹介する。 VIは、最適化技術を用いて複雑な確率密度を推定する機械学習で一般的な方法である。 可変オートエンコーダ(VAE)とVAE-Generative Adversarial Network(VAE-GAN)へのVIの適用について論じる。
  論文  参考訳（メタデータ） (2021-08-30T09:40:04Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• f-Divergence Variational Inference [9.172478956440216]
  $f$-VIフレームワークは、既存のVIメソッドを統一する。 一般の$f$-変数境界が導出され、限界確率(または証拠)のサンドイッチ推定を提供する。 また、f$-VIに対して、よく知られた座標のアセント変分推論を一般化する平均場近似スキームを提案する。
  論文  参考訳（メタデータ） (2020-09-28T06:22:05Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。