論文の概要: A mean-field games laboratory for generative modeling
- arxiv url: http://arxiv.org/abs/2304.13534v5
- Date: Tue, 24 Oct 2023 17:21:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 01:15:30.181564
- Title: A mean-field games laboratory for generative modeling
- Title（参考訳）: 生成モデルのための平均場ゲーム実験室
- Authors: Benjamin J. Zhang and Markos A. Katsoulakis
- Abstract要約: 平均場ゲーム(MFG)は、生成モデルの説明、拡張、設計のためのフレームワークである。
本稿では,MFGの最適条件について検討し,各生成モデルの数学的特性について検討する。
我々は,標準SGMよりも優れた性能を有するHJB正規化SGMを提案し,実演する。
- 参考スコア（独自算出の注目度）: 5.837881923712394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We demonstrate the versatility of mean-field games (MFGs) as a mathematical
framework for explaining, enhancing, and designing generative models. In
generative flows, a Lagrangian formulation is used where each particle
(generated sample) aims to minimize a loss function over its simulated path.
The loss, however, is dependent on the paths of other particles, which leads to
a competition among the population of particles. The asymptotic behavior of
this competition yields a mean-field game. We establish connections between
MFGs and major classes of generative flows and diffusions including
continuous-time normalizing flows, score-based generative models (SGM), and
Wasserstein gradient flows. Furthermore, we study the mathematical properties
of each generative model by studying their associated MFG's optimality
condition, which is a set of coupled forward-backward nonlinear partial
differential equations. The mathematical structure described by the MFG
optimality conditions identifies the inductive biases of generative flows. We
investigate the well-posedness and structure of normalizing flows, unravel the
mathematical structure of SGMs, and derive a MFG formulation of Wasserstein
gradient flows. From an algorithmic perspective, the optimality conditions
yields Hamilton-Jacobi-Bellman (HJB) regularizers for enhanced training of
generative models. In particular, we propose and demonstrate an HJB-regularized
SGM with improved performance over standard SGMs. We present this framework as
an MFG laboratory which serves as a platform for revealing new avenues of
experimentation and invention of generative models.
- Abstract（参考訳）: 生成モデルの説明,拡張,設計のための数学的枠組みとして,平均場ゲーム(MFG)の汎用性を実証する。
生成フローでは、各粒子(生成サンプル)がその模擬経路上の損失関数を最小化するラグランジアン定式化が用いられる。
しかし、この損失は他の粒子の経路に依存しており、粒子の集団間での競合につながっている。
この競技の漸近的な行動は平均場ゲームをもたらす。
我々は,MFGsと生成フローと,連続時間正規化フロー,スコアベース生成モデル(SGM),ワッサーシュタイン勾配フローなどの拡散とを関連づける。
さらに,各生成モデルの数学的性質を,結合した前方-後方非線形偏微分方程式の組であるmfgの最適性条件を用いて検討する。
MFG最適条件によって記述される数学的構造は、生成フローの誘導バイアスを特定する。
SGMの数学的構造を解明し, ワッサーシュタイン勾配流のMFG定式化を導出し, 正規化流れの健全性と構造について検討する。
アルゴリズムの観点から、最適条件は生成モデルの訓練を強化するためにハミルトン・ヤコビ・ベルマン正則化器(HJB)を生成する。
特に,標準SGMよりも性能が向上したHJB正規化SGMを提案する。
本稿では,本フレームワークをMFG実験室として紹介し,新たな実験方法と生成モデルの創出の場として機能する。
関連論文リスト
- Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。
この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
論文 参考訳（メタデータ） (2024-10-02T17:53:23Z) - Wasserstein proximal operators describe score-based generative models
and resolve memorization [12.321631823103894]
We first formulate SGMs with terms of Wasserstein proximal operator (WPO)
We show that WPO describe the inductive bias of diffusion and score-based model。
本稿では,SGMの性能を劇的に向上させる,スコア関数の解釈可能なカーネルベースモデルを提案する。
論文 参考訳（メタデータ） (2024-02-09T03:33:13Z) - Diffusion Model Conditioning on Gaussian Mixture Model and Negative
Gaussian Mixture Gradient [1.9298401192674903]
拡散モデル(DM)は、画像合成などに大きな影響を与える生成モデルの一種である。
本稿では,ガウス混合モデル(GMM)を特徴条件として用いた条件付け機構を提案する。
本研究では,特徴とクラスに基づく条件付き潜伏分布が著しく異なることを示し,特徴に対する条件付き潜伏分布は,クラスにおける条件付き潜伏分布よりも欠陥世代が少ないことを示した。
論文 参考訳（メタデータ） (2024-01-20T16:01:18Z) - Riemannian Score-Based Generative Modeling [56.20669989459281]
経験的性能を示すスコアベース生成モデル(SGM)を紹介する。
現在のSGMは、そのデータが平坦な幾何学を持つユークリッド多様体上で支えられているという前提を定めている。
これにより、ロボット工学、地球科学、タンパク質モデリングの応用にこれらのモデルを使用することができない。
論文 参考訳（メタデータ） (2022-02-06T11:57:39Z) - Moser Flow: Divergence-based Generative Modeling on Manifolds [49.04974733536027]
Moser Flow (MF) は連続正規化フロー(CNF)ファミリーにおける新しい生成モデルのクラスである
MFは、訓練中にODEソルバを介して呼び出しやバックプロパゲートを必要としない。
一般曲面からのサンプリングにおけるフローモデルの利用を初めて実演する。
論文 参考訳（メタデータ） (2021-08-18T09:00:24Z) - Refining Deep Generative Models via Discriminator Gradient Flow [18.406499703293566]
判別器グラディエントフロー (DGflow) は, エントロピー規則化されたf-ディバージェンスの勾配流を介して生成したサンプルを改善する新しい手法である。
DGflowは, 様々な生成モデルに対して, 生成したサンプルの品質を著しく向上させることを示す。
論文 参考訳（メタデータ） (2020-12-01T19:10:15Z) - Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling
by Exploring Energy of the Discriminator [85.68825725223873]
GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。
本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。
我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
論文 参考訳（メタデータ） (2020-04-05T01:50:16Z) - Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文 参考訳（メタデータ） (2020-03-06T23:11:13Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。