論文の概要: A Tale of Two Flows: Cooperative Learning of Langevin Flow and
Normalizing Flow Toward Energy-Based Model
- arxiv url: http://arxiv.org/abs/2205.06924v1
- Date: Fri, 13 May 2022 23:12:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 14:25:05.381423
- Title: A Tale of Two Flows: Cooperative Learning of Langevin Flow and
Normalizing Flow Toward Energy-Based Model
- Title（参考訳）: 2つの流れの物語:Langevin Flowの協調学習とエネルギーモデルへの正規化
- Authors: Jianwen Xie, Yaxuan Zhu, Jun Li, Ping Li
- Abstract要約: 本研究では2つの生成フローモデルの協調学習について検討し、共同合成例に基づいて2つのモデルを反復的に更新する。
訓練されたCoopFlowは、現実的なイメージ、画像再構成、画像間の補間が可能であることを示す。
- 参考スコア（独自算出の注目度）: 43.53802699867521
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the cooperative learning of two generative flow models, in
which the two models are iteratively updated based on the jointly synthesized
examples. The first flow model is a normalizing flow that transforms an initial
simple density to a target density by applying a sequence of invertible
transformations. The second flow model is a Langevin flow that runs finite
steps of gradient-based MCMC toward an energy-based model. We start from
proposing a generative framework that trains an energy-based model with a
normalizing flow as an amortized sampler to initialize the MCMC chains of the
energy-based model. In each learning iteration, we generate synthesized
examples by using a normalizing flow initialization followed by a short-run
Langevin flow revision toward the current energy-based model. Then we treat the
synthesized examples as fair samples from the energy-based model and update the
model parameters with the maximum likelihood learning gradient, while the
normalizing flow directly learns from the synthesized examples by maximizing
the tractable likelihood. Under the short-run non-mixing MCMC scenario, the
estimation of the energy-based model is shown to follow the perturbation of
maximum likelihood, and the short-run Langevin flow and the normalizing flow
form a two-flow generator that we call CoopFlow. We provide an understating of
the CoopFlow algorithm by information geometry and show that it is a valid
generator as it converges to a moment matching estimator. We demonstrate that
the trained CoopFlow is capable of synthesizing realistic images,
reconstructing images, and interpolating between images.
- Abstract（参考訳）: 本稿では,共同合成例に基づいて2つのモデルが反復的に更新される2つの生成フローモデルの協調学習について検討する。
第1のフローモデルは、インバータブル変換の列を適用することによって、初期単純密度を目標密度に変換する正規化フローである。
第2のフローモデルはランゲヴィンフローであり、勾配に基づくMCMCの有限ステップをエネルギーベースのモデルに向けて走る。
我々は,エネルギーベースモデルのmcmc連鎖を初期化するために,正規化フローを非モルト化サンプルとしてエネルギーベースのモデルを訓練する生成フレームワークの提案から始める。
各学習イテレーションにおいて, 正規化フロー初期化とLangevinフロー修正を併用して, 現在のエネルギーベースモデルに向けた合成例を生成する。
次に, 合成サンプルをエネルギーベースモデルから公平なサンプルとして扱い, モデルパラメータを最大確率学習勾配で更新し, 正規化フローは移動可能性の最大化によって合成サンプルから直接学習する。
短時間の非混合MCMCのシナリオでは、エネルギーベースモデルの推定は最大可能性の摂動に従うことが示され、短いランゲヴィンフローと正規化フローは、我々がクープフローと呼ぶ2フロー発生器を形成する。
本稿では,情報幾何学によるCoopFlowアルゴリズムのアンダースタティングを行い,モーメントマッチング推定器に収束する上で有効な生成器であることを示す。
訓練されたCoopFlowは、現実的なイメージを合成し、画像を再構成し、画像間の補間を行うことができることを示す。
関連論文リスト
- Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - Variational Potential Flow: A Novel Probabilistic Framework for Energy-Based Generative Modelling [10.926841288976684]
エネルギーをベースとした新しい生成フレームワークVAPOについて述べる。
VAPOは、勾配(流れ)が前のサンプルを導くポテンシャルエネルギー関数を学習することを目的としており、その密度の進化は近似的なデータ準同相性に従う。
イメージはポテンシャルエネルギーをトレーニングした後、ガウスのサンプルを初期化し、固定時間間隔で電位フローを管理するODEを解くことで生成することができる。
論文 参考訳（メタデータ） (2024-07-21T18:08:12Z) - Convolutional L2LFlows: Generating Accurate Showers in Highly Granular Calorimeters Using Convolutional Normalizing Flows [0.0]
我々はL2LFlowsを拡張して、横方向の9倍のプロファイルでシャワーをシミュレートする。
畳み込み層とU-Net型接続を導入し,マスク付き自己回帰フローから結合層へ移行する。
論文 参考訳（メタデータ） (2024-05-30T18:25:19Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z) - A Tale of Two Latent Flows: Learning Latent Space Normalizing Flow with
Short-run Langevin Flow for Approximate Inference [44.97938062814525]
トップダウンジェネレータモデルの潜時空間における正規化フローについて検討し, 正規化フローモデルがジェネレータのインフォメーション前モデルの役割を担っていることを示す。
我々は,マルコフ連鎖モンテカルロ(MCMC)に基づく最大確率アルゴリズムを用いて,潜在空間正規化フロー先行モデルとトップダウンジェネレータモデルとを共同で学習することを提案する。
論文 参考訳（メタデータ） (2023-01-23T07:15:43Z) - Generative Flow Networks for Discrete Probabilistic Modeling [118.81967600750428]
エネルギーベース生成フローネットワーク(EB-GFN)について述べる。
EB-GFNは高次元離散データのための新しい確率論的モデリングアルゴリズムである。
GFlowNetsは、モード間を混在させるために、大ブロックギブスサンプリングを略して行うことができるかを示す。
論文 参考訳（メタデータ） (2022-02-03T01:27:11Z) - CaloFlow: Fast and Accurate Generation of Calorimeter Showers with
Normalizing Flows [0.0]
正規化フローに基づく高速検出器シミュレーションフレームワークであるCaloFlowを紹介する。
本研究は, フローの正規化により, 極めて高い忠実度で多チャンネルのカロリーメータシャワーを再現できることを初めて実証した。
論文 参考訳（メタデータ） (2021-06-09T18:00:02Z) - Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。
我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。
我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
論文 参考訳（メタデータ） (2020-02-06T22:58:51Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。