論文の概要: Amortized Variational Inference: When and Why?

• arxiv url: http://arxiv.org/abs/2307.11018v2
• Date: Fri, 20 Oct 2023 20:51:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 08:10:38.962758
• Title: Amortized Variational Inference: When and Why?
• Title（参考訳）: Amortized Variational Inference: When and Why?
• Authors: Charles C. Margossian and David M. Blei
• Abstract要約: ベイズ推定にA-VIをいつ,なぜ利用できるのかを考察する。 我々は、アモータイズギャップを閉じるために必要な必要十分かつ検証可能なモデル上の条件を導出する。 推定関数の要求される複雑さはデータサイズによって増大せず、A-VIが高速に収束することが実証的に見いだされる。
• 参考スコア（独自算出の注目度）: 20.22771696362086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational inference is a class of methods to approximate the posterior distribution of a probabilistic model. The classic factorized (or mean-field) variational inference (F-VI) fits a separate parametric distribution for each latent variable. The more modern amortized variational inference (A-VI) instead learns a common \textit{inference function}, which maps each observation to its corresponding latent variable's approximate posterior. Typically, A-VI is used as a cog in the training of variational autoencoders, however it stands to reason that A-VI could also be used as a general alternative to F-VI. In this paper we study when and why A-VI can be used for approximate Bayesian inference. We establish that A-VI cannot achieve a better solution than F-VI, leading to the so-called \textit{amortization gap}, no matter how expressive the inference function is. We then address a central theoretical question: When can A-VI attain F-VI's optimal solution? We derive conditions on the model which are necessary, sufficient, and verifiable under which the amortization gap can be closed. We show that simple hierarchical models, which encompass many models in machine learning and Bayesian statistics, verify these conditions. We demonstrate, on a broader class of models, how to expand the domain of AVI's inference function to improve its solution, and we provide examples, e.g. hidden Markov models, where the amortization gap cannot be closed. Finally, when A-VI can match F-VI's solution, we empirically find that the required complexity of the inference function does not grow with the data size and that A-VI often converges faster.
• Abstract（参考訳）: 変分推論は確率モデルの後方分布を近似する手法のクラスである。 古典的因子化(または平均場)変分推論(F-VI)は、各潜時変数に対して別のパラメトリック分布に適合する。 より現代的な償却変分推論(a-vi)は、代わりに共通の \textit{inference function} を学習する。 通常、A-VIは変分オートエンコーダの訓練においてコグとして使用されるが、A-VIがF-VIの一般的な代替品としても使用できる理由である。 本稿では,ベイズ近似にA-VIをいつ,なぜ利用できるのかを考察する。 A-VI は F-VI よりも優れた解が得られないことを確立し、推論関数がどれだけ表現的であったとしても、いわゆる \textit{amortization gap} につながる。 A-VIはいつF-VIの最適解が得られるのか? 我々は、不定化ギャップを閉じることができる、必要で十分で検証可能なモデル上の条件を導出する。 機械学習やベイズ統計学で多くのモデルを包含する単純な階層モデルが,これらの条件を検証していることを示す。 より広範なモデルのクラスにおいて、AVIの推論関数の領域を拡張して解を改善する方法を示し、例えば隠れマルコフモデルでは、償却ギャップを閉じることができない例を示す。 最後に、A-VI が F-VI の解に一致する場合、データサイズによって推論関数の要求される複雑さが増大せず、A-VI が高速に収束することが実証的に判明する。

関連論文リスト

• SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
  変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。 ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。 我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-22T14:54:12Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• PAVI: Plate-Amortized Variational Inference [55.975832957404556]
  数百人の被験者のコホート上で何百万もの計測が行われる大集団研究において、推論は困難である。 この大きな濃度は、オフザシェルフ変分推論(VI)を計算的に非現実的である。 本研究では,大集団研究に効率よく取り組む構造VIファミリーを設計する。
  論文  参考訳（メタデータ） (2023-08-30T13:22:20Z)
• Black Box Variational Inference with a Deterministic Objective: Faster, More Accurate, and Even More Black Box [14.362625828893654]
  決定論的ADVI(DADVI)を導入し,ADVIの問題点に対処する。 DADVIは、難解なMFVBの目的を固定されたモンテカルロ近似に置き換える。 DADVIとSAAは,非常に高次元であっても比較的少数の試料で良好な性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-04-11T22:45:18Z)
• Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
  データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。 既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。 本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
  論文  参考訳（メタデータ） (2022-03-11T10:47:16Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• An Introduction to Variational Inference [0.0]
  本稿では,変分推論(VI)の概念を紹介する。 VIは、最適化技術を用いて複雑な確率密度を推定する機械学習で一般的な方法である。 可変オートエンコーダ(VAE)とVAE-Generative Adversarial Network(VAE-GAN)へのVIの適用について論じる。
  論文  参考訳（メタデータ） (2021-08-30T09:40:04Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• f-Divergence Variational Inference [9.172478956440216]
  $f$-VIフレームワークは、既存のVIメソッドを統一する。 一般の$f$-変数境界が導出され、限界確率(または証拠)のサンドイッチ推定を提供する。 また、f$-VIに対して、よく知られた座標のアセント変分推論を一般化する平均場近似スキームを提案する。
  論文  参考訳（メタデータ） (2020-09-28T06:22:05Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。