論文の概要: Discovery and Expansion of New Domains within Diffusion Models
- arxiv url: http://arxiv.org/abs/2310.09213v2
- Date: Sun, 26 May 2024 20:17:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 11:38:36.643081
- Title: Discovery and Expansion of New Domains within Diffusion Models
- Title（参考訳）: 拡散モデルにおける新しい領域の発見と拡張
- Authors: Ye Zhu, Yu Wu, Duo Xu, Zhiwei Deng, Yan Yan, Olga Russakovsky,
- Abstract要約: 拡散モデルの一般化特性を数発のセットアップで検討する。
ドメイン外のターゲットデータを合成するための新しいチューニング不要パラダイムを提案する。
- 参考スコア（独自算出の注目度）: 41.25905891327446
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this work, we study the generalization properties of diffusion models in a few-shot setup, introduce a novel tuning-free paradigm to synthesize the target out-of-domain (OOD) data, and demonstrate its advantages compared to existing methods in data-sparse scenarios with large domain gaps. Specifically, given a pre-trained model and a small set of images that are OOD relative to the model's training distribution, we explore whether the frozen model is able to generalize to this new domain. We begin by revealing that Denoising Diffusion Probabilistic Models (DDPMs) trained on single-domain images are already equipped with sufficient representation abilities to reconstruct arbitrary images from the inverted latent encoding following bi-directional deterministic diffusion and denoising trajectories. We then demonstrate through both theoretical and empirical perspectives that the OOD images establish Gaussian priors in latent spaces of the given model, and the inverted latent modes are separable from their initial training domain. We then introduce our novel tuning-free paradigm to synthesize new images of the target unseen domain by discovering qualified OOD latent encodings in the inverted noisy spaces. This is fundamentally different from the current paradigm that seeks to modify the denoising trajectory to achieve the same goal by tuning the model parameters. Extensive cross-model and domain experiments show that our proposed method can expand the latent space and generate unseen images via frozen DDPMs without impairing the quality of generation of their original domain. We also showcase a practical application of our proposed heuristic approach in dramatically different domains using astrophysical data, revealing the great potential of such a generalization paradigm in data spare fields such as scientific explorations.
- Abstract（参考訳）: 本研究では,拡散モデルの一般化特性を数ショット設定で検討し,対象領域外データ(OOD)を合成するための新しいチューニング自由パラダイムを導入し,ドメインギャップが大きいデータスパースシナリオにおける既存の手法と比較して,その利点を実証する。
具体的には、事前訓練されたモデルと、モデルのトレーニング分布に対するOODである小さなイメージセットを考慮し、凍結されたモデルがこの新しい領域に一般化できるかどうかを考察する。
まず、単一領域の画像に基づいて訓練された拡散確率モデル(DDPM)が、双方向の定性拡散および偏性軌道の後に、反転潜時符号化から任意の画像を再構成する十分な表現能力を備えていることを明らかにする。
次に、OOD画像が与えられたモデルの潜在空間にガウス先行性を確立し、逆潜時モードが初期訓練領域から分離可能であることを理論的および実証的な視点で示す。
そこで,本研究では,逆雑音空間におけるOOD潜時符号化の有意な発見により,対象未確認領域の新たなイメージを合成する,新しいチューニング自由パラダイムを提案する。
これは、モデルパラメータをチューニングすることで同じ目標を達成するために、認知軌道を変更しようとする現在のパラダイムと根本的に異なる。
拡張型クロスモデルおよびドメイン実験により,提案手法は,原領域の生成品質を損なうことなく,凍結DDPMを用いて遅延空間を拡張し,未確認画像を生成することができることを示した。
また、宇宙物理データを用いて、劇的に異なる領域において、提案したヒューリスティックなアプローチを実践的に適用し、科学的探索などのデータスペア分野において、そのような一般化パラダイムの大きな可能性を明らかにした。
関連論文リスト
- Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。
私たちのフレームワークは、3つの新しい目標のファミリーにつながります。
Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文 参考訳（メタデータ） (2024-10-10T17:18:30Z) - FDS: Feedback-guided Domain Synthesis with Multi-Source Conditional Diffusion Models for Domain Generalization [19.0284321951354]
ドメイン一般化技術は、トレーニング中に新しいデータ分布をシミュレートすることで、モデルロバスト性を高めることを目的としている。
本稿では、拡散モデルを用いて新しい擬似ドメインを合成するFDS、フィードバック誘導ドメイン合成法を提案する。
本手法は, 領域一般化性能のベンチマークを, 様々な課題のあるデータセットに分けて設定することを示す。
論文 参考訳（メタデータ） (2024-07-04T02:45:29Z) - Source-Free Domain Adaptation with Diffusion-Guided Source Data Generation [6.087274577167399]
本稿では、ソースフリードメイン適応(DM-SFDA)のための拡散モデルの一般化可能性を活用する新しいアプローチを提案する。
提案するDMSFDA法では,事前学習したテキスト・画像拡散モデルを微調整し,ソース・ドメイン・イメージを生成する。
私たちは、Office-31、Office-Home、VisDAなど、さまざまなデータセットにわたる包括的な実験を通じて、このアプローチを検証する。
論文 参考訳（メタデータ） (2024-02-07T14:56:13Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。
様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
論文 参考訳（メタデータ） (2023-08-28T08:47:06Z) - Cross Contrasting Feature Perturbation for Domain Generalization [11.863319505696184]
ドメインの一般化は、目に見えないターゲットドメインをうまく一般化するソースドメインから堅牢なモデルを学ぶことを目的としています。
近年の研究では、ソースドメインに相補的な分布を多様化するための新しいドメインサンプルや特徴の生成に焦点が当てられている。
ドメインシフトをシミュレートするオンラインワンステージクロスコントラスト機能摂動フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-24T03:27:41Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - ShiftDDPMs: Exploring Conditional Diffusion Models by Shifting Diffusion
Trajectories [144.03939123870416]
本稿では,前処理に条件を導入することで,新しい条件拡散モデルを提案する。
いくつかのシフト規則に基づいて各条件に対して排他的拡散軌跡を割り当てるために、余剰潜在空間を用いる。
我々は textbfShiftDDPMs と呼ぶメソッドを定式化し、既存のメソッドの統一的な視点を提供する。
論文 参考訳（メタデータ） (2023-02-05T12:48:21Z) - Universal Generative Modeling in Dual-domain for Dynamic MR Imaging [22.915796840971396]
我々は,高度にアンダーサンプリングされた測定値の再構成を行うために,k-spaceとDu-al-Domainコラボレーティブユニバーサル生成モデル(DD-UGM)を提案する。
より正確には、画像領域とk空間領域の両方の先行成分を普遍的な生成モデルで抽出し、これらの先行成分を適応的に処理し、より高速に処理する。
論文 参考訳（メタデータ） (2022-12-15T03:04:48Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳（メタデータ） (2022-09-06T16:56:21Z) - Let us Build Bridges: Understanding and Extending Diffusion Generative
Models [19.517597928769042]
拡散に基づく生成モデルは、最近、有望な結果を得たが、多くのオープンな疑問を提起している。
この研究は、理論的な理解を深めるために、全体的なフレームワークを再検討しようと試みている。
1)拡散生成モデルを学習するための最初の理論的誤り解析,2)異なる離散および制約された領域からのデータを学ぶための単純で統一的なアプローチを提案する。
論文 参考訳（メタデータ） (2022-08-31T08:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。