論文の概要: Unseen Image Synthesis with Diffusion Models

• arxiv url: http://arxiv.org/abs/2310.09213v1
• Date: Fri, 13 Oct 2023 16:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 12:09:47.965070
• Title: Unseen Image Synthesis with Diffusion Models
• Title（参考訳）: 拡散モデルによる見えない画像合成
• Authors: Ye Zhu, Yu Wu, Zhiwei Deng, Olga Russakovsky and Yan Yan
• Abstract要約: 単ドメインデータセット上で、事前学習および凍結したDenoising Diffusion Probabilistic Models (DDPM) を用いて、未確認領域画像を追加訓練せずに合成する。 我々のキーとなる観察は、単ドメイン画像のみに事前訓練されたDDPMは、反転潜時符号化から任意の画像を再構成するのに十分な表現能力を備えています。 我々は,様々なデータセット上で,事前学習拡散モデル (DDPM, iDDPM) を用いた広範囲な解析と実験を行った。
• 参考スコア（独自算出の注目度）: 44.37803942479853
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While the current trend in the generative field is scaling up towards larger models and more training data for generalized domain representations, we go the opposite direction in this work by synthesizing unseen domain images without additional training. We do so via latent sampling and geometric optimization using pre-trained and frozen Denoising Diffusion Probabilistic Models (DDPMs) on single-domain datasets. Our key observation is that DDPMs pre-trained even just on single-domain images are already equipped with sufficient representation abilities to reconstruct arbitrary images from the inverted latent encoding following bi-directional deterministic diffusion and denoising trajectories. This motivates us to investigate the statistical and geometric behaviors of the Out-Of-Distribution (OOD) samples from unseen image domains in the latent spaces along the denoising chain. Notably, we theoretically and empirically show that the inverted OOD samples also establish Gaussians that are distinguishable from the original In-Domain (ID) samples in the intermediate latent spaces, which allows us to sample from them directly. Geometrical domain-specific and model-dependent information of the unseen subspace (e.g., sample-wise distance and angles) is used to further optimize the sampled OOD latent encodings from the estimated Gaussian prior. We conduct extensive analysis and experiments using pre-trained diffusion models (DDPM, iDDPM) on different datasets (AFHQ, CelebA-HQ, LSUN-Church, and LSUN-Bedroom), proving the effectiveness of this novel perspective to explore and re-think the diffusion models' data synthesis generalization ability.
• Abstract（参考訳）: 生成分野における現在のトレンドは、より大きなモデルに向けて拡大し、一般化されたドメイン表現のためのトレーニングデータを増やす一方で、追加のトレーニングなしで未認識のドメインイメージを合成することで、この作業の反対方向に進んでいます。 単一ドメインデータセット上では,事前学習および凍結脱ノイズ拡散確率モデル(ddpms)を用いて,潜伏サンプリングと幾何最適化を行う。 我々のキーとなる観察は、単ドメイン画像のみに事前訓練されたDDPMは、双方向の決定論的拡散とデノベーショントラジェクトリーの後に、反転潜時符号化から任意の画像を再構成する十分な表現能力を備えています。 このことは、デノナイジング・チェーンに沿った潜在空間の未確認画像領域からのOODサンプルの統計的および幾何学的挙動を調査する動機となる。 特に、逆 OOD サンプルは、中間潜伏空間における元の In-Domain (ID) サンプルと区別可能なガウスアンも確立し、直接サンプリングすることができることを理論的かつ実証的に示している。 未確認部分空間の幾何学的領域固有およびモデル依存情報(例:サンプルワイド距離と角度)を用いて、推定ガウス先行推定値からサンプルOODラテントエンコーディングをさらに最適化する。 本研究では,各データセット(AFHQ, CelebA-HQ, LSUN-Church, LSUN-Bedroom)の事前学習拡散モデル(DDPM, iDDPM)を用いて,この新たな視点の有効性を実証し,拡散モデルのデータ合成一般化能力を再考する。

関連論文リスト

• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• FDS: Feedback-guided Domain Synthesis with Multi-Source Conditional Diffusion Models for Domain Generalization [19.0284321951354]
  ドメイン一般化技術は、トレーニング中に新しいデータ分布をシミュレートすることで、モデルロバスト性を高めることを目的としている。 本稿では、拡散モデルを用いて新しい擬似ドメインを合成するFDS、フィードバック誘導ドメイン合成法を提案する。 本手法は, 領域一般化性能のベンチマークを, 様々な課題のあるデータセットに分けて設定することを示す。
  論文  参考訳（メタデータ） (2024-07-04T02:45:29Z)
• Source-Free Domain Adaptation with Diffusion-Guided Source Data Generation [6.087274577167399]
  本稿では、ソースフリードメイン適応(DM-SFDA)のための拡散モデルの一般化可能性を活用する新しいアプローチを提案する。 提案するDMSFDA法では,事前学習したテキスト・画像拡散モデルを微調整し,ソース・ドメイン・イメージを生成する。 私たちは、Office-31、Office-Home、VisDAなど、さまざまなデータセットにわたる包括的な実験を通じて、このアプローチを検証する。
  論文  参考訳（メタデータ） (2024-02-07T14:56:13Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Cross Contrasting Feature Perturbation for Domain Generalization [11.863319505696184]
  ドメインの一般化は、目に見えないターゲットドメインをうまく一般化するソースドメインから堅牢なモデルを学ぶことを目的としています。 近年の研究では、ソースドメインに相補的な分布を多様化するための新しいドメインサンプルや特徴の生成に焦点が当てられている。 ドメインシフトをシミュレートするオンラインワンステージクロスコントラスト機能摂動フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-24T03:27:41Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• ShiftDDPMs: Exploring Conditional Diffusion Models by Shifting Diffusion Trajectories [144.03939123870416]
  本稿では,前処理に条件を導入することで,新しい条件拡散モデルを提案する。 いくつかのシフト規則に基づいて各条件に対して排他的拡散軌跡を割り当てるために、余剰潜在空間を用いる。 我々は textbfShiftDDPMs と呼ぶメソッドを定式化し、既存のメソッドの統一的な視点を提供する。
  論文  参考訳（メタデータ） (2023-02-05T12:48:21Z)
• Universal Generative Modeling in Dual-domain for Dynamic MR Imaging [22.915796840971396]
  我々は,高度にアンダーサンプリングされた測定値の再構成を行うために,k-spaceとDu-al-Domainコラボレーティブユニバーサル生成モデル(DD-UGM)を提案する。 より正確には、画像領域とk空間領域の両方の先行成分を普遍的な生成モデルで抽出し、これらの先行成分を適応的に処理し、より高速に処理する。
  論文  参考訳（メタデータ） (2022-12-15T03:04:48Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)
• Let us Build Bridges: Understanding and Extending Diffusion Generative Models [19.517597928769042]
  拡散に基づく生成モデルは、最近、有望な結果を得たが、多くのオープンな疑問を提起している。 この研究は、理論的な理解を深めるために、全体的なフレームワークを再検討しようと試みている。 1)拡散生成モデルを学習するための最初の理論的誤り解析,2)異なる離散および制約された領域からのデータを学ぶための単純で統一的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-08-31T08:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。