論文の概要: Generative Modeling with Flow-Guided Density Ratio Learning

• arxiv url: http://arxiv.org/abs/2303.03714v1
• Date: Tue, 7 Mar 2023 07:55:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 16:08:32.074013
• Title: Generative Modeling with Flow-Guided Density Ratio Learning
• Title（参考訳）: フロー誘導密度比学習による生成モデル
• Authors: Alvin Heng, Abdul Fatir Ansari, Harold Soh
• Abstract要約: Flow-Guided Density Ratio Learning (FDRL)は、生成モデルに対するシンプルでスケーラブルなアプローチである。 FDRLは、DGflowで導入されたフロー勾配エントロピー規則化f-ディバージェンス(英語版)の古い(時間に依存しない)近似に基づいて構築される。
• 参考スコア（独自算出の注目度）: 21.22537767816472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Flow-Guided Density Ratio Learning (FDRL), a simple and scalable approach to generative modeling which builds on the stale (time-independent) approximation of the gradient flow of entropy-regularized f-divergences introduced in DGflow. In DGflow, the intractable time-dependent density ratio is approximated by a stale estimator given by a GAN discriminator. This is sufficient in the case of sample refinement, where the source and target distributions of the flow are close to each other. However, this assumption is invalid for generation and a naive application of the stale estimator fails due to the large chasm between the two distributions. FDRL proposes to train a density ratio estimator such that it learns from progressively improving samples during the training process. We show that this simple method alleviates the density chasm problem, allowing FDRL to generate images of dimensions as high as $128\times128$, as well as outperform existing gradient flow baselines on quantitative benchmarks. We also show the flexibility of FDRL with two use cases. First, unconditional FDRL can be easily composed with external classifiers to perform class-conditional generation. Second, FDRL can be directly applied to unpaired image-to-image translation with no modifications needed to the framework. Code is publicly available at https://github.com/ajrheng/FDRL.
• Abstract（参考訳）: 本稿では,DGflow で導入されたエントロピー規則化 f-分枝の勾配流の静的(時間に依存しない)近似に基づく,簡易かつスケーラブルな生成モデリング手法である Flow-Guided Density Ratio Learning (FDRL) を提案する。 DGflowでは、抽出可能な時間依存密度比は、GAN判別器によって与えられるスタイル推定器によって近似される。 これはサンプルリファインメントの場合で十分であり、フローのソースとターゲットの分布が互いに近い場合に十分である。 しかし、この仮定は生成には無効であり、二つの分布の間に大きな亀裂があるため、スタイル推定器のナイーブな応用は失敗する。 FDRLは、トレーニングプロセス中にサンプルを徐々に改善することを学ぶために密度比推定器を訓練することを提案する。 本手法では,FDRLが128\times128$の次元の画像を生成できるとともに,既存の勾配流ベースラインを定量的なベンチマークで上回り,密度カオス問題を緩和する。 また2つのユースケースでFDRLの柔軟性を示す。 まず、非条件FDRLを外部分類器で簡単に構成してクラス条件生成を行う。 第2に、FDRLはフレームワークに変更を加えることなく、不適切な画像から画像への変換に直接適用することができる。 コードはhttps://github.com/ajrheng/FDRLで公開されている。

関連論文リスト

• Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
  CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。 本稿では,誘導係数を緩和したReCFGを提案する。 このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  Rectified Flow (RF) は、一連の凸最適化問題を用いて、ノイズからデータへの直流軌跡の学習を目的としている。 RFは理論上、連続的な修正を通じて軌道を直線化し、サンプリング中の評価関数(NFE)の数を減少させる。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow [65.51671121528858]
  拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。 広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。 本稿では,より広範な拡散モデルのカテゴリをカバーするために,設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:43:38Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
  フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。 最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。 凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
  論文  参考訳（メタデータ） (2024-02-27T15:53:15Z)
• Adversarial Likelihood Estimation With One-Way Flows [44.684952377918904]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。 提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T10:26:29Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Subspace Diffusion Generative Models [4.310834990284412]
  スコアベースモデルは、高次元拡散過程を通じて、ノイズをデータにマッピングすることでサンプルを生成する。 データ分布がノイズに向かって進化するにつれて、射影による部分空間への拡散を制限する。 私たちのフレームワークは継続的拡散と完全に互換性があり、柔軟性を維持しています。
  論文  参考訳（メタデータ） (2022-05-03T13:43:47Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。