論文の概要: Variational Inference with Continuously-Indexed Normalizing Flows
- arxiv url: http://arxiv.org/abs/2007.05426v2
- Date: Mon, 14 Jun 2021 18:20:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 21:05:03.452254
- Title: Variational Inference with Continuously-Indexed Normalizing Flows
- Title（参考訳）: 連続インデクシング正規化流を用いた変分推論
- Authors: Anthony Caterini and Rob Cornish and Dino Sejdinovic and Arnaud Doucet
- Abstract要約: 連続インデクシングフロー(CIF)は,近年,様々な密度推定タスクにおけるベースライン正規化フローの改善を実現している。
そこで我々は,CIFを,表現性後部近似を定式化し,訓練するための補助的変分推論手法の一部として用いる方法を示す。
- 参考スコア（独自算出の注目度）: 29.95927906900098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continuously-indexed flows (CIFs) have recently achieved improvements over
baseline normalizing flows on a variety of density estimation tasks. CIFs do
not possess a closed-form marginal density, and so, unlike standard flows,
cannot be plugged in directly to a variational inference (VI) scheme in order
to produce a more expressive family of approximate posteriors. However, we show
here how CIFs can be used as part of an auxiliary VI scheme to formulate and
train expressive posterior approximations in a natural way. We exploit the
conditional independence structure of multi-layer CIFs to build the required
auxiliary inference models, which we show empirically yield low-variance
estimators of the model evidence. We then demonstrate the advantages of CIFs
over baseline flows in VI problems when the posterior distribution of interest
possesses a complicated topology, obtaining improved results in both the
Bayesian inference and surrogate maximum likelihood settings.
- Abstract（参考訳）: 連続インデックスフロー(CIF)は近年,様々な密度推定タスクのベースライン正規化フローよりも改善されている。
CIFは閉形式境界密度を持たないので、標準的な流れとは異なり、より表現力のある近似後続の族を生成するために、変分推論(VI)スキームに直接接続することはできない。
しかし,本論文では,表現性後部近似を自然な方法で定式化し,訓練するための補助的なVIスキームの一部としてCIFを用いる方法を示す。
我々は多層CIFの条件独立構造を利用して必要な補助的推論モデルを構築し、モデル証拠の低分散推定器を経験的に得ることを示す。
次に,興味の後方分布が複雑なトポロジーを持つ場合のvi問題におけるベースラインフローに対するcifのアドバンテージを示し,ベイズ推定と最大帰納可能性設定の両方において改善結果を得た。
関連論文リスト
- Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - GFlowNets and variational inference [64.22223306224903]
本稿では,階層的変動推論(VI)と生成フローネットワーク(GFlowNets)という,確率論的アルゴリズムの2つのファミリー間のブリッジを構築する。
また, ある場合において, VIアルゴリズムは, 学習目標の期待勾配の等しさという意味で, GFlowNetsの特別な場合と等価であることを示した。
論文 参考訳（メタデータ） (2022-10-02T17:41:01Z) - Discretely Indexed Flows [1.0079626733116611]
本稿では,変分推定問題の解法として離散インデックスフロー(DIF)を提案する。
DIFは正規化フロー(NF)の拡張として構築され、決定論的輸送は離散的にインデックス付けされる。
これらは、トラクタブル密度と単純なサンプリングスキームの両方の利点があり、変分推論(VI)と変分密度推定(VDE)の二重問題に利用できる。
論文 参考訳（メタデータ） (2022-04-04T10:13:43Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。
ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。
我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
論文 参考訳（メタデータ） (2021-09-24T18:02:49Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳（メタデータ） (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。