論文の概要: Poisson Flow Generative Models
- arxiv url: http://arxiv.org/abs/2209.11178v1
- Date: Thu, 22 Sep 2022 17:26:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 13:00:00.840402
- Title: Poisson Flow Generative Models
- Title(参考訳): ポアソンフロー生成モデル
- Authors: Yilun Xu, Ziming Liu, Max Tegmark, Tommi Jaakkola
- Abstract要約: ポアソンフロー」生成モデルは、高次元半球上の一様分布を任意のデータ分布にマッピングする。
PFGM は CIFAR-10 上での正規化フローモデルの中で現在の最先端性能を実現する。
- 参考スコア(独自算出の注目度): 9.843778728210427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new "Poisson flow" generative model (PFGM) that maps a uniform
distribution on a high-dimensional hemisphere into any data distribution. We
interpret the data points as electrical charges on the $z=0$ hyperplane in a
space augmented with an additional dimension $z$, generating a high-dimensional
electric field (the gradient of the solution to Poisson equation). We prove
that if these charges flow upward along electric field lines, their initial
distribution in the $z=0$ plane transforms into a distribution on the
hemisphere of radius $r$ that becomes uniform in the $r \to\infty$ limit. To
learn the bijective transformation, we estimate the normalized field in the
augmented space. For sampling, we devise a backward ODE that is anchored by the
physically meaningful additional dimension: the samples hit the unaugmented
data manifold when the $z$ reaches zero. Experimentally, PFGM achieves current
state-of-the-art performance among the normalizing flow models on CIFAR-10,
with an Inception score of $9.68$ and a FID score of $2.48$. It also performs
on par with the state-of-the-art SDE approaches while offering $10\times $ to
$20 \times$ acceleration on image generation tasks. Additionally, PFGM appears
more tolerant of estimation errors on a weaker network architecture and robust
to the step size in the Euler method. The code is available at
https://github.com/Newbeeer/poisson_flow .
- Abstract(参考訳): 我々は,高次元半球上の一様分布を任意のデータ分布にマッピングする新しい「ポアソンフロー」生成モデル(PFGM)を提案する。
データポイントを、追加次元のz$で拡張された空間におけるz=0$ハイパープレーン上の電荷として解釈し、高次元の電場(ポアソン方程式の解の勾配)を生成する。
これらの電荷が電界線に沿って上向きに流れると、z=0$平面における初期分布は半径 r$ の半球上の分布に変換され、r \to\infty$ の極限で一様になる。
単射変換を学ぶために、拡張空間における正規化場を推定する。
サンプリングのために、物理的に意味のある追加次元によって固定された後方ODEを考案する:サンプルは、$z$が0になったときに、未拡張のデータ多様体にぶつかる。
実験的に、PFGMはCIFAR-10上の正規化フローモデルのうち、現在の最先端の性能を達成し、インセプションスコアは9.68ドル、FIDスコアは2.48ドルである。
また、最新のSDEアプローチと同等に機能し、画像生成タスクで10\times$から20 \times$Acceleratorを提供する。
さらに、PFGMはより弱いネットワークアーキテクチャにおける推定誤差に寛容であり、オイラー法におけるステップサイズに頑健である。
コードはhttps://github.com/newbeeer/poisson_flowで入手できる。
関連論文リスト
- Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳(メタデータ) (2024-02-15T08:51:49Z) - Measurement-induced phase transition for free fermions above one
dimension [50.444903773362995]
自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。
臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
論文 参考訳(メタデータ) (2023-09-21T18:11:04Z) - Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic
Localization [40.808942894229325]
データ次元において線形である第1収束境界を提供する。
拡散モデルは任意の分布を近似するために少なくとも$tilde O(fracd log2(1/delta)varepsilon2)$ stepsを必要とすることを示す。
論文 参考訳(メタデータ) (2023-08-07T16:01:14Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳(メタデータ) (2023-06-26T17:13:31Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Lookahead Diffusion Probabilistic Models for Refining Mean Estimation [23.424045204296437]
本研究では,拡散確率モデル(DPM)における後続の時間ステップよりも深部ニューラルネットワーク(DNN)の出力の相関性を利用するLA-DPMを提案する。
典型的なDPMは、最新の$boldsymbolz_i$とindex $i$をDNNモデルに入力することで、最初に元のデータサンプル$boldsymbolx$の推定値を取得する。
我々は$boldsymbolx$の2つの推定値に対して$boldsymbolx$を供給して得られる外挿を行うことにより、より正確な$boldsymbolx$の推定値を計算することを提案する。
論文 参考訳(メタデータ) (2023-04-22T03:58:08Z) - PFGM++: Unlocking the Potential of Physics-Inspired Generative Models [14.708385906024546]
PFGM++と呼ばれる物理に着想を得た新しい生成モデルを導入する。
これらのモデルは、$N+D$次元空間に経路を埋め込むことにより、$N$次元データの生成軌道を実現する。
有限$D$のモデルは、従来の最先端拡散モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-02-08T18:58:02Z) - Convergence and Sample Complexity of SGD in GANs [15.25030172685628]
SGDによるGAN(Generative Adversarial Networks)のトレーニングにおける収束保証を提供する。
我々は,非線形アクティベーション機能を持つ1層ジェネレータネットワークによってモデル化されたターゲット分布の学習を検討する。
この結果は、ReLUを含む幅広い非線形アクティベーション関数 $phi$ に適用され、切り離された統計との接続によって実現される。
論文 参考訳(メタデータ) (2020-12-01T18:50:38Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z) - Gravitational-wave parameter estimation with autoregressive neural
network flows [0.0]
深部ニューラルネットワークを用いた重力波データから二元ブラックホール系のパラメータを高速に推定するための自己回帰正規化フローを導入する。
正規化フロー(英: normalizing flow)は、単純な確率分布からより複雑なものへの変換を誘導するために用いられるサンプル空間上の可逆写像である。
可変オートエンコーダフレームワークに自己回帰フローを組み込むことにより,より強力な潜在変数モデルを構築する。
論文 参考訳(メタデータ) (2020-02-18T15:44:04Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳(メタデータ) (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。