論文の概要: Unseen Image Synthesis with Diffusion Models
- arxiv url: http://arxiv.org/abs/2310.09213v1
- Date: Fri, 13 Oct 2023 16:07:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 12:09:47.965070
- Title: Unseen Image Synthesis with Diffusion Models
- Title(参考訳): 拡散モデルによる見えない画像合成
- Authors: Ye Zhu, Yu Wu, Zhiwei Deng, Olga Russakovsky and Yan Yan
- Abstract要約: 単ドメインデータセット上で、事前学習および凍結したDenoising Diffusion Probabilistic Models (DDPM) を用いて、未確認領域画像を追加訓練せずに合成する。
我々のキーとなる観察は、単ドメイン画像のみに事前訓練されたDDPMは、反転潜時符号化から任意の画像を再構成するのに十分な表現能力を備えています。
我々は,様々なデータセット上で,事前学習拡散モデル (DDPM, iDDPM) を用いた広範囲な解析と実験を行った。
- 参考スコア(独自算出の注目度): 44.37803942479853
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While the current trend in the generative field is scaling up towards larger
models and more training data for generalized domain representations, we go the
opposite direction in this work by synthesizing unseen domain images without
additional training. We do so via latent sampling and geometric optimization
using pre-trained and frozen Denoising Diffusion Probabilistic Models (DDPMs)
on single-domain datasets. Our key observation is that DDPMs pre-trained even
just on single-domain images are already equipped with sufficient
representation abilities to reconstruct arbitrary images from the inverted
latent encoding following bi-directional deterministic diffusion and denoising
trajectories. This motivates us to investigate the statistical and geometric
behaviors of the Out-Of-Distribution (OOD) samples from unseen image domains in
the latent spaces along the denoising chain. Notably, we theoretically and
empirically show that the inverted OOD samples also establish Gaussians that
are distinguishable from the original In-Domain (ID) samples in the
intermediate latent spaces, which allows us to sample from them directly.
Geometrical domain-specific and model-dependent information of the unseen
subspace (e.g., sample-wise distance and angles) is used to further optimize
the sampled OOD latent encodings from the estimated Gaussian prior. We conduct
extensive analysis and experiments using pre-trained diffusion models (DDPM,
iDDPM) on different datasets (AFHQ, CelebA-HQ, LSUN-Church, and LSUN-Bedroom),
proving the effectiveness of this novel perspective to explore and re-think the
diffusion models' data synthesis generalization ability.
- Abstract(参考訳): 生成分野における現在のトレンドは、より大きなモデルに向けて拡大し、一般化されたドメイン表現のためのトレーニングデータを増やす一方で、追加のトレーニングなしで未認識のドメインイメージを合成することで、この作業の反対方向に進んでいます。
単一ドメインデータセット上では,事前学習および凍結脱ノイズ拡散確率モデル(ddpms)を用いて,潜伏サンプリングと幾何最適化を行う。
我々のキーとなる観察は、単ドメイン画像のみに事前訓練されたDDPMは、双方向の決定論的拡散とデノベーショントラジェクトリーの後に、反転潜時符号化から任意の画像を再構成する十分な表現能力を備えています。
このことは、デノナイジング・チェーンに沿った潜在空間の未確認画像領域からのOODサンプルの統計的および幾何学的挙動を調査する動機となる。
特に、逆 OOD サンプルは、中間潜伏空間における元の In-Domain (ID) サンプルと区別可能なガウスアンも確立し、直接サンプリングすることができることを理論的かつ実証的に示している。
未確認部分空間の幾何学的領域固有およびモデル依存情報(例:サンプルワイド距離と角度)を用いて、推定ガウス先行推定値からサンプルOODラテントエンコーディングをさらに最適化する。
本研究では,各データセット(AFHQ, CelebA-HQ, LSUN-Church, LSUN-Bedroom)の事前学習拡散モデル(DDPM, iDDPM)を用いて,この新たな視点の有効性を実証し,拡散モデルのデータ合成一般化能力を再考する。
関連論文リスト
- Generative Modeling with Phase Stochastic Bridges [52.919600985186996]
拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。
我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。
我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
論文 参考訳(メタデータ) (2023-10-11T18:38:28Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Denoising Diffusion Samplers [41.796349001299156]
拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。
我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。
この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
論文 参考訳(メタデータ) (2023-02-27T14:37:16Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。
本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-07T14:34:27Z) - Unifying Diffusion Models' Latent Space, with Applications to
CycleDiffusion and Guidance [95.12230117950232]
関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。
テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
論文 参考訳(メタデータ) (2022-10-11T15:53:52Z) - Structured Uncertainty in the Observation Space of Variational
Autoencoders [20.709989481734794]
画像合成において、そのような分布からのサンプリングは、非相関な画素ノイズを伴う空間的非コヒーレントな結果を生成する。
低ランクパラメータ化により空間依存性を符号化する観測空間の代替モデルを提案する。
画素単位の独立分布とは対照的に,本サンプルは複数の可算出力の予測を可能にする平均値から意味論的に有意な変動を含むと考えられる。
論文 参考訳(メタデータ) (2022-05-25T07:12:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。