論文の概要: Generative Modeling with Flow-Guided Density Ratio Learning
- arxiv url: http://arxiv.org/abs/2303.03714v2
- Date: Fri, 26 Jan 2024 03:13:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 18:48:29.179030
- Title: Generative Modeling with Flow-Guided Density Ratio Learning
- Title(参考訳): フロー誘導密度比学習による生成モデル
- Authors: Alvin Heng, Abdul Fatir Ansari, Harold Soh
- Abstract要約: Flow-Guided Density Ratio Learning (FDRL)は、生成モデルに対するシンプルでスケーラブルなアプローチである。
FDRLは、DGflowで導入されたフロー勾配エントロピー規則化f-ディバージェンス(英語版)の古い(時間に依存しない)近似に基づいて構築される。
- 参考スコア(独自算出の注目度): 13.703561119128995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Flow-Guided Density Ratio Learning (FDRL), a simple and scalable
approach to generative modeling which builds on the stale (time-independent)
approximation of the gradient flow of entropy-regularized f-divergences
introduced in DGflow. In DGflow, the intractable time-dependent density ratio
is approximated by a stale estimator given by a GAN discriminator. This is
sufficient in the case of sample refinement, where the source and target
distributions of the flow are close to each other. However, this assumption is
invalid for generation and a naive application of the stale estimator fails due
to the large chasm between the two distributions. FDRL proposes to train a
density ratio estimator such that it learns from progressively improving
samples during the training process. We show that this simple method alleviates
the density chasm problem, allowing FDRL to generate images of dimensions as
high as $128\times128$, as well as outperform existing gradient flow baselines
on quantitative benchmarks. We also show the flexibility of FDRL with two use
cases. First, unconditional FDRL can be easily composed with external
classifiers to perform class-conditional generation. Second, FDRL can be
directly applied to unpaired image-to-image translation with no modifications
needed to the framework. Code is publicly available at
https://github.com/ajrheng/FDRL.
- Abstract(参考訳): 本稿では,DGflow で導入されたエントロピー規則化 f-分枝の勾配流の静的(時間に依存しない)近似に基づく,簡易かつスケーラブルな生成モデリング手法である Flow-Guided Density Ratio Learning (FDRL) を提案する。
DGflowでは、抽出可能な時間依存密度比は、GAN判別器によって与えられるスタイル推定器によって近似される。
これはサンプルリファインメントの場合で十分であり、フローのソースとターゲットの分布が互いに近い場合に十分である。
しかし、この仮定は生成には無効であり、二つの分布の間に大きな亀裂があるため、スタイル推定器のナイーブな応用は失敗する。
FDRLは、トレーニングプロセス中にサンプルを徐々に改善することを学ぶために密度比推定器を訓練することを提案する。
本手法では,FDRLが128\times128$の次元の画像を生成できるとともに,既存の勾配流ベースラインを定量的なベンチマークで上回り,密度カオス問題を緩和する。
また2つのユースケースでFDRLの柔軟性を示す。
まず、非条件FDRLを外部分類器で簡単に構成してクラス条件生成を行う。
第2に、FDRLはフレームワークに変更を加えることなく、不適切な画像から画像への変換に直接適用することができる。
コードはhttps://github.com/ajrheng/FDRLで公開されている。
関連論文リスト
- Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data
Distribution [76.33705947080871]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳(メタデータ) (2023-10-04T09:39:05Z) - Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。
RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。
3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-04-14T13:51:26Z) - Diffuse-Denoise-Count: Accurate Crowd-Counting with Diffusion Models [49.59991322513561]
我々は,JHU-CROWD++で最大6%,UCF-QNRFで最大7%の誤差を改善する新しい群集カウントパイプラインを開発した。
論文 参考訳(メタデータ) (2023-03-22T17:58:01Z) - Subspace Diffusion Generative Models [4.310834990284412]
スコアベースモデルは、高次元拡散過程を通じて、ノイズをデータにマッピングすることでサンプルを生成する。
データ分布がノイズに向かって進化するにつれて、射影による部分空間への拡散を制限する。
私たちのフレームワークは継続的拡散と完全に互換性があり、柔軟性を維持しています。
論文 参考訳(メタデータ) (2022-05-03T13:43:47Z) - VQ-Flows: Vector Quantized Local Normalizing Flows [2.7998963147546148]
データ多様体上の「チャートマップ」として局所正規化フローの混合を学習するための新しい統計フレームワークを導入する。
本フレームワークは, 正規化フローのシグネチャ特性を保ちながら, 最近の手法の表現性を向上し, 正確な密度評価を行う。
論文 参考訳(メタデータ) (2022-03-22T09:22:18Z) - Improving Generative Adversarial Networks with Local Coordinate Coding [150.24880482480455]
GAN(Generative Adversarial Network)は、事前定義された事前分布から現実的なデータを生成することに成功している。
実際には、意味情報はデータから学んだ潜在的な分布によって表現される。
ローカル座標符号化(LCC)を用いたLCCGANモデルを提案する。
論文 参考訳(メタデータ) (2020-07-28T09:17:50Z) - Sliced Iterative Normalizing Flows [7.6146285961466]
我々は,任意の確率分布関数(PDF)を対象のPDFに変換することができる反復型(欲求型)ディープラーニング(DL)アルゴリズムを開発した。
本アルゴリズムの特殊な場合として,データから潜在空間(GIS)にマップする2つの反復正規化フロー(SINF)モデルを導入する。
論文 参考訳(メタデータ) (2020-07-01T18:00:04Z) - Your GAN is Secretly an Energy-based Model and You Should use
Discriminator Driven Latent Sampling [106.68533003806276]
本研究では,潜時空間におけるサンプリングは,潜時空間の前対数密度と判別器出力スコアの和によって誘導されるエネルギーベースモデルに従って,潜時空間におけるサンプリングを行うことによって達成できることを示す。
判別器駆動潜時サンプリング(DDLS)は,高次元画素空間で動作する従来の手法と比較して,高効率であることを示す。
論文 参考訳(メタデータ) (2020-03-12T23:33:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。