論文の概要: PFGM++: Unlocking the Potential of Physics-Inspired Generative Models
- arxiv url: http://arxiv.org/abs/2302.04265v1
- Date: Wed, 8 Feb 2023 18:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 15:08:28.663270
- Title: PFGM++: Unlocking the Potential of Physics-Inspired Generative Models
- Title（参考訳）: PFGM++:物理にインスパイアされた生成モデルの可能性を解き放つ
- Authors: Yilun Xu, Ziming Liu, Yonglong Tian, Shangyuan Tong, Max Tegmark,
Tommi Jaakkola
- Abstract要約: PFGM++と呼ばれる物理に着想を得た新しい生成モデルを導入する。
PFGMは拡散モデルとポアソンフロー生成モデルを統合する。
実験の結果, 従来の拡散モデルよりも, 有限$D$のモデルの方が優れていることがわかった。
- 参考スコア（独自算出の注目度）: 14.708385906024546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a new family of physics-inspired generative models termed PFGM++
that unifies diffusion models and Poisson Flow Generative Models (PFGM). These
models realize generative trajectories for $N$ dimensional data by embedding
paths in $N{+}D$ dimensional space while still controlling the progression with
a simple scalar norm of the $D$ additional variables. The new models reduce to
PFGM when $D{=}1$ and to diffusion models when $D{\to}\infty$. The flexibility
of choosing $D$ allows us to trade off robustness against rigidity as
increasing $D$ results in more concentrated coupling between the data and the
additional variable norms. We dispense with the biased large batch field
targets used in PFGM and instead provide an unbiased perturbation-based
objective similar to diffusion models. To explore different choices of $D$, we
provide a direct alignment method for transferring well-tuned hyperparameters
from diffusion models ($D{\to} \infty$) to any finite $D$ values. Our
experiments show that models with finite $D$ can be superior to previous
state-of-the-art diffusion models on CIFAR-10/FFHQ $64{\times}64$ datasets,
with FID scores of $1.91/2.43$ when $D{=}2048/128$. In addition, we demonstrate
that models with smaller $D$ exhibit improved robustness against modeling
errors. Code is available at https://github.com/Newbeeer/pfgmpp
- Abstract（参考訳）: 本稿では,拡散モデルとポアソンフロー生成モデル(pfgm)を統合した新しい物理モデルpfgm++を紹介する。
これらのモデルは、$n{+}d$ 次元空間に経路を埋め込みながら、$d$ 付加変数の単純なスカラーノルムで進行を制御することで、$n$ 次元データの生成軌道を実現する。
新しいモデルは、$d{=}1$のときはpfgmに、$d{\to}\infty$の時は拡散モデルに縮小される。
$D$を選択する柔軟性は、データと追加の変数ノルムとのより密結合をもたらすため、剛性に対して堅牢性をトレードオフすることができる。
我々は、PFGMで使用される大きなバッチフィールドターゲットのバイアスを省き、拡散モデルと同様のバイアスのない摂動に基づく目的を提供する。
D$の異なる選択を探索するために、よく調整されたハイパーパラメータを拡散モデル(D{\to} \infty$)から任意の有限$D$値に転送する直接アライメント法を提供する。
実験によれば、有限$d$を持つモデルは、cifar-10/ffhq 6.4{\times}64$データセット上の以前の最先端の拡散モデルよりも優れており、$d{=}2048/128$の場合、fidスコアは1.91/2.43$である。
さらに,$d$の小さいモデルでは,モデリングエラーに対するロバスト性が向上することを示す。
コードはhttps://github.com/Newbeeer/pfgmppで入手できる。
関連論文リスト
- Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。
本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。
我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-02-09T13:46:42Z) - Poisson Flow Generative Models [9.843778728210427]
ポアソンフロー」生成モデルは、高次元半球上の一様分布を任意のデータ分布にマッピングする。
PFGM は CIFAR-10 上での正規化フローモデルの中で現在の最先端性能を実現する。
論文 参考訳（メタデータ） (2022-09-22T17:26:58Z) - Neural Implicit Manifold Learning for Topology-Aware Density Estimation [15.878635603835063]
現在の生成モデルは、ニューラルネットワークを介して$m$次元の潜在変数をマッピングすることで、$mathcalM$を学ぶ。
我々のモデルは、プッシュフォワードモデルよりも複雑なトポロジーを持つ多様体支持分布を正確に学習できることが示される。
論文 参考訳（メタデータ） (2022-06-22T18:00:00Z) - Full-Span Log-Linear Model and Fast Learning Algorithm [1.9798034349981162]
フルスパンログリニア(FSLL)モデルは、$n$-次ボルツマンマシンと見なされる。
FSLLモデルは$|X|-1$パラメータを持ち、任意の正の分布を$X$で表すことができる。
実験の結果、FSLLはラップトップPCで1分以内に|X|=220$という6つのトレーニングデータセットを学習した。
論文 参考訳（メタデータ） (2022-02-17T06:51:59Z) - Lessons from $O(N)$ models in one dimension [0.0]
1つの時空次元(通常の量子力学)における$O(N)$モデルに関連する様々なトピックが考慮される。
その焦点は、より単純な文脈で量子場理論の手法を教育的に提示することである。
論文 参考訳（メタデータ） (2021-09-14T11:36:30Z) - Exploring Sparse Expert Models and Beyond [51.90860155810848]
Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。
本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。
この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
論文 参考訳（メタデータ） (2021-05-31T16:12:44Z) - Adversarial robustness against multiple $l_p$-threat models at the price
of one and how to quickly fine-tune robust models to another threat model [79.05253587566197]
対向的堅牢性を実現するために, 対向的トレーニング (AT) を単一$l_p$-threatモデルで行うことが広く議論されている。
本稿では,$l_p$-threatモデルの結合に対する対角的ロバスト性を実現するための,シンプルで効率的なトレーニング手法を開発する。
論文 参考訳（メタデータ） (2021-05-26T12:20:47Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。