論文の概要: Amortized Variational Inference: When and Why?

• arxiv url: http://arxiv.org/abs/2307.11018v1
• Date: Thu, 20 Jul 2023 16:45:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 12:00:50.667385
• Title: Amortized Variational Inference: When and Why?
• Title（参考訳）: Amortized Variational Inference: When and Why?
• Authors: Charles C. Margossian and David M. Blei
• Abstract要約: A-VI (Amortized Variational Inference) は確率的モデルで生じる難解な後部分布を近似する手法である。 より深い生成モデルを含む幅広い階層モデルに対して、A-VIとF-VIのギャップを埋めることが可能であることを示す。
• 参考スコア（独自算出の注目度）: 27.234988278884344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Amortized variational inference (A-VI) is a method for approximating the intractable posterior distributions that arise in probabilistic models. The defining feature of A-VI is that it learns a global inference function that maps each observation to its local latent variable's approximate posterior. This stands in contrast to the more classical factorized (or mean-field) variational inference (F-VI), which directly learns the parameters of the approximating distribution for each latent variable. In deep generative models, A-VI is used as a computational trick to speed up inference for local latent variables. In this paper, we study A-VI as a general alternative to F-VI for approximate posterior inference. A-VI cannot produce an approximation with a lower Kullback-Leibler divergence than F-VI's optimal solution, because the amortized family is a subset of the factorized family. Thus a central theoretical problem is to characterize when A-VI still attains F-VI's optimal solution. We derive conditions on both the model and the inference function under which A-VI can theoretically achieve F-VI's optimum. We show that for a broad class of hierarchical models, including deep generative models, it is possible to close the gap between A-VI and F-VI. Further, for an even broader class of models, we establish when and how to expand the domain of the inference function to make amortization a feasible strategy. Finally, we prove that for certain models -- including hidden Markov models and Gaussian processes -- A-VI cannot match F-VI's solution, no matter how expressive the inference function is. We also study A-VI empirically [...]
• Abstract（参考訳）: amortized variational inference (a-vi) は確率モデルにおいて生じる難解な後方分布を近似する手法である。 A-VI の定義的特徴は、各観測結果を局所潜在変数の近似後部へマッピングする大域的推論関数を学ぶことである。 これは、各潜在変数の近似分布のパラメータを直接学習するより古典的な因子化(平均場)変分推論(f-vi)とは対照的である。 深層生成モデルでは、A-VIは局所潜伏変数の推論を高速化する計算トリックとして用いられる。 本稿では, A-VI を F-VI の代替として検討した。 a-vi は、退化族が因子化された族の部分集合であるため、f-vi の最適解よりも低いkullback-leibler 分岐を持つ近似を生成することができない。 したがって、中心的な理論的問題は、A-VIがF-VIの最適解を得るときに特徴づけることである。 我々は、理論上F-VIの最適性を達成できるモデルと推論関数の両方の条件を導出する。 より深い生成モデルを含む幅広い階層モデルに対して、A-VIとF-VIのギャップを埋めることが可能であることを示す。 さらに、より広範なモデルのクラスでは、推論関数のドメインを拡張して償却を可能な戦略にする方法と方法を確立します。 最後に、隠れマルコフモデルやガウス過程を含む特定のモデルにおいて、a-vi はどんなに表現力のある推論関数であっても f-vi の解と一致しないことを証明する。 また、A-VIを実験的に研究する [...]

関連論文リスト

• SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
  変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。 ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。 我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-22T14:54:12Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• PAVI: Plate-Amortized Variational Inference [55.975832957404556]
  数百人の被験者のコホート上で何百万もの計測が行われる大集団研究において、推論は困難である。 この大きな濃度は、オフザシェルフ変分推論(VI)を計算的に非現実的である。 本研究では,大集団研究に効率よく取り組む構造VIファミリーを設計する。
  論文  参考訳（メタデータ） (2023-08-30T13:22:20Z)
• Black Box Variational Inference with a Deterministic Objective: Faster, More Accurate, and Even More Black Box [14.362625828893654]
  決定論的ADVI(DADVI)を導入し,ADVIの問題点に対処する。 DADVIは、難解なMFVBの目的を固定されたモンテカルロ近似に置き換える。 DADVIとSAAは,非常に高次元であっても比較的少数の試料で良好な性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-04-11T22:45:18Z)
• Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
  データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。 既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。 本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
  論文  参考訳（メタデータ） (2022-03-11T10:47:16Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• An Introduction to Variational Inference [0.0]
  本稿では,変分推論(VI)の概念を紹介する。 VIは、最適化技術を用いて複雑な確率密度を推定する機械学習で一般的な方法である。 可変オートエンコーダ(VAE)とVAE-Generative Adversarial Network(VAE-GAN)へのVIの適用について論じる。
  論文  参考訳（メタデータ） (2021-08-30T09:40:04Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• f-Divergence Variational Inference [9.172478956440216]
  $f$-VIフレームワークは、既存のVIメソッドを統一する。 一般の$f$-変数境界が導出され、限界確率(または証拠)のサンドイッチ推定を提供する。 また、f$-VIに対して、よく知られた座標のアセント変分推論を一般化する平均場近似スキームを提案する。
  論文  参考訳（メタデータ） (2020-09-28T06:22:05Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。