論文の概要: A Tale of Two Latent Flows: Learning Latent Space Normalizing Flow with
Short-run Langevin Flow for Approximate Inference
- arxiv url: http://arxiv.org/abs/2301.09300v1
- Date: Mon, 23 Jan 2023 07:15:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 14:01:14.703536
- Title: A Tale of Two Latent Flows: Learning Latent Space Normalizing Flow with
Short-run Langevin Flow for Approximate Inference
- Title（参考訳）: 2つの潜在フローの物語--近似推論のための短時間ランゲヴィンフローを用いた潜在空間正規化フローの学習
- Authors: Jianwen Xie, Yaxuan Zhu, Yifei Xu, Dingcheng Li, Ping Li
- Abstract要約: トップダウンジェネレータモデルの潜時空間における正規化フローについて検討し, 正規化フローモデルがジェネレータのインフォメーション前モデルの役割を担っていることを示す。
我々は,マルコフ連鎖モンテカルロ(MCMC)に基づく最大確率アルゴリズムを用いて,潜在空間正規化フロー先行モデルとトップダウンジェネレータモデルとを共同で学習することを提案する。
- 参考スコア（独自算出の注目度）: 44.97938062814525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study a normalizing flow in the latent space of a top-down generator
model, in which the normalizing flow model plays the role of the informative
prior model of the generator. We propose to jointly learn the latent space
normalizing flow prior model and the top-down generator model by a Markov chain
Monte Carlo (MCMC)-based maximum likelihood algorithm, where a short-run
Langevin sampling from the intractable posterior distribution is performed to
infer the latent variables for each observed example, so that the parameters of
the normalizing flow prior and the generator can be updated with the inferred
latent variables. We show that, under the scenario of non-convergent short-run
MCMC, the finite step Langevin dynamics is a flow-like approximate inference
model and the learning objective actually follows the perturbation of the
maximum likelihood estimation (MLE). We further point out that the learning
framework seeks to (i) match the latent space normalizing flow and the
aggregated posterior produced by the short-run Langevin flow, and (ii) bias the
model from MLE such that the short-run Langevin flow inference is close to the
true posterior. Empirical results of extensive experiments validate the
effectiveness of the proposed latent space normalizing flow model in the tasks
of image generation, image reconstruction, anomaly detection, supervised image
inpainting and unsupervised image recovery.
- Abstract（参考訳）: トップダウンジェネレータモデルの潜時空間における正規化フローについて検討し, 正規化フローモデルがジェネレータのインフォメーション前モデルの役割を担っていることを示す。
本稿では,マルコフ連鎖モンテカルロ(MCMC)に基づく最大確率アルゴリズムを用いて,遅延空間正規化フロー先行モデルとトップダウンジェネレータモデルとを共同で学習し,抽出可能な後続分布から短絡したランゲヴィンサンプリングを行い,各観測例について遅延変数を推定することにより,正規化フロー前のパラメータと生成元のパラメータを推定潜在変数で更新する。
非収束短絡MCMCのシナリオでは、有限ステップランゲヴィン力学はフローのような近似推論モデルであり、学習目的は実際に最大推定(MLE)の摂動に従う。
さらに、学習フレームワークが求めていることを指摘します。
i) 短時間ランゲヴィン流によって生じる潜在空間正規化流と集約後部とを一致させ,
(ii) 短いランゲヴィン流の推論が真の後部に近いように、MLEからモデルに偏りが生じる。
画像生成, 画像再構成, 異常検出, 教師あり画像の塗装, 教師なし画像の復元作業において, 提案した潜時空間正規化フローモデルの有効性を検証する実験結果が得られた。
関連論文リスト
- Unfolding Time: Generative Modeling for Turbulent Flows in 4D [49.843505326598596]
本研究では,4次元生成拡散モデルと物理インフォームドガイダンスを導入し,現実的な流れ状態列の生成を可能にする。
提案手法は, 乱流多様体からのサブシーケンス全体のサンプリングに有効であることが示唆された。
この進展は、乱流の時間的進化を分析するために生成モデリングを適用するための扉を開く。
論文 参考訳（メタデータ） (2024-06-17T10:21:01Z) - Verlet Flows: Exact-Likelihood Integrators for Flow-Based Generative Models [4.9425328004453375]
ハミルトン力学のシンプレクティックに着想を得た拡張状態空間上のCNFのクラスであるVerlet Flowを提案する。
バーレットフローは、最小の表現性制約を課しながら、非連続的な設定から結合フローアーキテクチャを一般化する、正確な類似した生成モデルを提供する。
おもちゃの密度に関する実験では、一般的なハッチンソントレース推定器のばらつきは重要サンプリングには適さないが、一方、Verletフローは完全オートグレートトレース計算に比較可能であり、かなり高速である。
論文 参考訳（メタデータ） (2024-05-05T03:47:56Z) - Training Dynamics of Multi-Head Softmax Attention for In-Context Learning: Emergence, Convergence, and Optimality [54.20763128054692]
マルチタスク線形回帰の文脈内学習のためのマルチヘッドソフトマックスアテンションモデルを訓練するための勾配流のダイナミクスについて検討する。
我々は,勾配流のダイナミックス中に,興味深い「タスク割り当て」現象が現れることを証明した。
論文 参考訳（メタデータ） (2024-02-29T18:43:52Z) - Mixed Gaussian Flow for Diverse Trajectory Prediction [78.00204650749453]
混合ガウスを将来の軌跡多様体に変換するためのフローベースモデルを提案する。
このモデルでは、多様な軌道パターンを生成する能力が向上している。
また,多様な,制御可能な,分布外のトラジェクトリを生成可能であることも実証した。
論文 参考訳（メタデータ） (2024-02-19T15:48:55Z) - Generative Modeling with Phase Stochastic Bridges [49.4474628881673]
拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。
我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。
我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
論文 参考訳（メタデータ） (2023-10-11T18:38:28Z) - Data-driven low-dimensional dynamic model of Kolmogorov flow [0.0]
流れのダイナミクスを捉える低次モデル (ROM) はシミュレーションの計算コストの削減に重要である。
この研究は、フローのダイナミクスと特性を効果的にキャプチャする最小次元モデルのためのデータ駆動フレームワークを示す。
我々はこれをカオス的かつ断続的な行動からなる体制におけるコルモゴロフ流に適用する。
論文 参考訳（メタデータ） (2022-10-29T23:05:39Z) - A Tale of Two Flows: Cooperative Learning of Langevin Flow and
Normalizing Flow Toward Energy-Based Model [43.53802699867521]
本研究では2つの生成フローモデルの協調学習について検討し、共同合成例に基づいて2つのモデルを反復的に更新する。
訓練されたCoopFlowは、現実的なイメージ、画像再構成、画像間の補間が可能であることを示す。
論文 参考訳（メタデータ） (2022-05-13T23:12:38Z) - Predicting the temporal dynamics of turbulent channels through deep
learning [0.0]
最小乱流チャネル流の時間的進化を再現するニューラルネットワークの能力を評価することを目的としている。
長期記憶(LSTM)ネットワークとクープマンベースのフレームワーク(KNF)は、最小チャネルフローモードの時間ダイナミクスを予測するために訓練される。
論文 参考訳（メタデータ） (2022-03-02T09:31:03Z) - Augmented Normalizing Flows: Bridging the Gap Between Generative Flows
and Latent Variable Models [11.206144910991481]
本研究では,拡張データ空間上での新たな生成フローの族を提案する。これは,サンプリングの計算コストを大幅に増大させることなく,表現性を向上させることを目的としている。
本稿では,フローベース生成モデリングの標準ベンチマークにおける最先端性能について述べる。
論文 参考訳（メタデータ） (2020-02-17T17:45:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。