論文の概要: The Score-Difference Flow for Implicit Generative Modeling
- arxiv url: http://arxiv.org/abs/2304.12906v2
- Date: Tue, 18 Jul 2023 15:31:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 18:57:52.625103
- Title: The Score-Difference Flow for Implicit Generative Modeling
- Title(参考訳): インプシット生成モデルのためのスコア差流
- Authors: Romann M. Weber
- Abstract要約: Inlicit Generative Modelingは、対象データ分布と一致する合成データのサンプルを作成することを目的としている。
最近の研究は、合成音源データをターゲット分布へプッシュする観点から、IGG問題にアプローチしている。
任意のターゲット分布とソース分布のスコア差を,Kulback-Leibler分散を最適に低減するフローとして提示する。
- 参考スコア(独自算出の注目度): 1.309716118537215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit generative modeling (IGM) aims to produce samples of synthetic data
matching the characteristics of a target data distribution. Recent work (e.g.
score-matching networks, diffusion models) has approached the IGM problem from
the perspective of pushing synthetic source data toward the target distribution
via dynamical perturbations or flows in the ambient space. In this direction,
we present the score difference (SD) between arbitrary target and source
distributions as a flow that optimally reduces the Kullback-Leibler divergence
between them while also solving the Schroedinger bridge problem. We apply the
SD flow to convenient proxy distributions, which are aligned if and only if the
original distributions are aligned. We demonstrate the formal equivalence of
this formulation to denoising diffusion models under certain conditions. We
also show that the training of generative adversarial networks includes a
hidden data-optimization sub-problem, which induces the SD flow under certain
choices of loss function when the discriminator is optimal. As a result, the SD
flow provides a theoretical link between model classes that individually
address the three challenges of the "generative modeling trilemma" -- high
sample quality, mode coverage, and fast sampling -- thereby setting the stage
for a unified approach.
- Abstract(参考訳): 暗黙的生成モデリング(igm)は、ターゲットデータ分布の特性にマッチする合成データのサンプルを作成することを目的としている。
最近の研究(例えばスコアマッチングネットワーク、拡散モデル)は、動的摂動や周囲空間の流れを通じて、合成音源データを目標分布へ押し上げるという観点から、igm問題にアプローチしている。
この方向では、任意のターゲット分布とソース分布のスコア差(SD)をフローとして提示し、Kulback-Leiblerの分岐を最適に低減するとともに、Schroedinger橋の問題も解決する。
SDフローを便利なプロキシ分布に適用し、元の分布が整列している場合に限り整列する。
この定式化の形式的等価性を示し、ある条件下での拡散モデルをデノナイズする。
また,識別器が最適である場合に,特定の損失関数の選択の下でSDフローを誘導する,隠れたデータ最適化サブプロブレムを含む生成逆ネットワークのトレーニングを示す。
その結果、sdフローは、"生成的モデリングトリレンマ"の3つの課題 — 高いサンプル品質、モードカバレッジ、高速なサンプリング – を個別に解決するモデルクラス間の理論的リンクを提供し、統一アプローチのステージを設定する。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Uncertainty quantification and out-of-distribution detection using
surjective normalizing flows [46.51077762143714]
本稿では,深層ニューラルネットワークモデルにおける分布外データセットの探索的正規化フローを用いた簡単なアプローチを提案する。
本手法は, 流通外データと流通内データとを確実に識別できることを示す。
論文 参考訳(メタデータ) (2023-11-01T09:08:35Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳(メタデータ) (2023-09-29T03:24:24Z) - Bayesian Flow Networks [4.585102332532472]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。
単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。
BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文 参考訳(メタデータ) (2023-08-14T09:56:35Z) - DiffFlow: A Unified SDE Framework for Score-Based Diffusion Models and
Generative Adversarial Networks [41.451880167535776]
我々は、明示的生成モデル(SDM)と生成逆数ネット(GAN)のための統一的理論フレームワークを提案する。
統合理論フレームワークでは,GAN や SDM 以外の新しいアルゴリズムを精度の高い推定で提供する DiffFLow のインスタンス化がいくつか導入されている。
論文 参考訳(メタデータ) (2023-07-05T10:00:53Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - From Points to Functions: Infinite-dimensional Representations in
Diffusion Models [23.916417852496608]
拡散に基づく生成モデルは、非構造的雑音を複雑な対象分布に反復的に伝達することを学ぶ。
異なる時間ステップからの情報コンテンツを組み合わせることで、下流のタスクをより正確に表現できることが示される。
論文 参考訳(メタデータ) (2022-10-25T05:30:53Z) - ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。
摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。
最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文 参考訳(メタデータ) (2022-08-18T16:07:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。