論文の概要: A mean-field games laboratory for generative modeling

• arxiv url: http://arxiv.org/abs/2304.13534v2
• Date: Thu, 27 Apr 2023 03:19:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 15:51:44.053579
• Title: A mean-field games laboratory for generative modeling
• Title（参考訳）: 生成モデルのための平均場ゲーム実験室
• Authors: Benjamin J. Zhang and Markos A. Katsoulakis
• Abstract要約: 生成モデルの説明,拡張,設計のための数学的枠組みとして,平均場ゲーム(MFG)の汎用性を実証する。 粒子動力学とコスト関数の異なる選択により生成モデルの3つのクラスを導出する。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we demonstrate the versatility of mean-field games (MFGs) as a mathematical framework for explaining, enhancing, and designing generative models. There is a pervasive sense in the generative modeling community that the various flow and diffusion-based generative models have some foundational common structure and interrelationships. We establish connections between MFGs and major classes of flow and diffusion-based generative models including continuous-time normalizing flows, score-based models, and Wasserstein gradient flows. We derive these three classes of generative models through different choices of particle dynamics and cost functions. Furthermore, we study the mathematical structure and properties of each generative model by studying their associated MFG's optimality condition, which is a set of coupled nonlinear partial differential equations (PDEs). The theory of MFGs, therefore, enables the study of generative models through the theory of nonlinear PDEs. Through this perspective, we investigate the well-posedness and structure of normalizing flows, unravel the mathematical structure of score-based generative modeling, and derive a mean-field game formulation of the Wasserstein gradient flow. From an algorithmic perspective, the optimality conditions of MFGs also allow us to introduce HJB regularizers for enhanced training a broader class of generative models. We present this framework as an MFG laboratory which serves as a platform for revealing new avenues of experimentation and invention of generative models. This laboratory will give rise to a multitude of well-posed generative modeling formulations, providing a consistent theoretical framework upon which numerical and algorithmic tools may be developed.
• Abstract（参考訳）: 本稿では,生成モデルの説明,拡張,設計のための数学的枠組みとして,平均場ゲーム(MFG)の汎用性を実証する。 生成モデルコミュニティには、様々な流れと拡散に基づく生成モデルがいくつかの基礎的な共通構造と相互関係を持つという広義の感覚がある。 我々は,MFGと,連続時間正規化フロー,スコアベースモデル,ワッサーシュタイン勾配フローを含む拡散型生成モデルとの接続を確立する。 粒子動力学とコスト関数の異なる選択を通して、これら3つの生成モデルのクラスを導出する。 さらに,結合型非線形偏微分方程式(pdes)の組であるmfgの最適性条件を解析し,各生成モデルの数学的構造と性質について検討した。 したがって、MFGの理論は、非線形PDEの理論を通じて生成モデルの研究を可能にする。 この観点から,正規化フローの適切性と構造,スコアベース生成モデリングの数学的構造を解明し,ワッサースタイン勾配流れの平均場ゲーム定式化を導出する。 アルゴリズムの観点からは、MFGの最適条件により、より広範な生成モデルのクラスを訓練するためのHJB正規化器を導入することもできる。 本稿では,本フレームワークをMFG実験室として紹介し,新たな実験方法と生成モデルの創出の場として機能する。 この研究所は、数式とアルゴリズムのツールが開発できる一貫した理論的枠組みを提供する、多種多様なよく考えられた生成的モデリングの定式化を生み出します。

関連論文リスト

• Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
  本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。 この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T17:53:23Z)
• Wasserstein proximal operators describe score-based generative models and resolve memorization [12.321631823103894]
  We first formulate SGMs with terms of Wasserstein proximal operator (WPO) We show that WPO describe the inductive bias of diffusion and score-based model。 本稿では,SGMの性能を劇的に向上させる,スコア関数の解釈可能なカーネルベースモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-09T03:33:13Z)
• Diffusion Model Conditioning on Gaussian Mixture Model and Negative Gaussian Mixture Gradient [1.9298401192674903]
  拡散モデル(DM)は、画像合成などに大きな影響を与える生成モデルの一種である。 本稿では,ガウス混合モデル(GMM)を特徴条件として用いた条件付け機構を提案する。 本研究では,特徴とクラスに基づく条件付き潜伏分布が著しく異なることを示し,特徴に対する条件付き潜伏分布は,クラスにおける条件付き潜伏分布よりも欠陥世代が少ないことを示した。
  論文  参考訳（メタデータ） (2024-01-20T16:01:18Z)
• Riemannian Score-Based Generative Modeling [56.20669989459281]
  経験的性能を示すスコアベース生成モデル(SGM)を紹介する。 現在のSGMは、そのデータが平坦な幾何学を持つユークリッド多様体上で支えられているという前提を定めている。 これにより、ロボット工学、地球科学、タンパク質モデリングの応用にこれらのモデルを使用することができない。
  論文  参考訳（メタデータ） (2022-02-06T11:57:39Z)
• Moser Flow: Divergence-based Generative Modeling on Manifolds [49.04974733536027]
  Moser Flow (MF) は連続正規化フロー(CNF)ファミリーにおける新しい生成モデルのクラスである MFは、訓練中にODEソルバを介して呼び出しやバックプロパゲートを必要としない。 一般曲面からのサンプリングにおけるフローモデルの利用を初めて実演する。
  論文  参考訳（メタデータ） (2021-08-18T09:00:24Z)
• Refining Deep Generative Models via Discriminator Gradient Flow [18.406499703293566]
  判別器グラディエントフロー (DGflow) は, エントロピー規則化されたf-ディバージェンスの勾配流を介して生成したサンプルを改善する新しい手法である。 DGflowは, 様々な生成モデルに対して, 生成したサンプルの品質を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-12-01T19:10:15Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。