論文の概要: LaCon: Late-Constraint Diffusion for Steerable Guided Image Synthesis

• arxiv url: http://arxiv.org/abs/2305.11520v6
• Date: Sun, 26 May 2024 05:13:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 12:38:03.883540
• Title: LaCon: Late-Constraint Diffusion for Steerable Guided Image Synthesis
• Title（参考訳）: LaCon: ステアブルガイド画像合成のための遅延拘束拡散
• Authors: Chang Liu, Rui Li, Kaidong Zhang, Xin Luo, Dong Liu,
• Abstract要約: 本稿では,様々な条件を事前学習拡散モデルに同時に組み込むために,遅延制約拡散(LaCon)という代替パラダイムを提案する。 COCOデータセットの実験結果はLaConの有効性と優れた一般化能力を示している。
• 参考スコア（独自算出の注目度）: 14.217743805048537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have demonstrated impressive abilities in generating photo-realistic and creative images. To offer more controllability for the generation process, existing studies, termed as early-constraint methods in this paper, leverage extra conditions and incorporate them into pre-trained diffusion models. Particularly, some of them adopt condition-specific modules to handle conditions separately, where they struggle to generalize across other conditions. Although follow-up studies present unified solutions to solve the generalization problem, they also require extra resources to implement, e.g., additional inputs or parameter optimization, where more flexible and efficient solutions are expected to perform steerable guided image synthesis. In this paper, we present an alternative paradigm, namely Late-Constraint Diffusion (LaCon), to simultaneously integrate various conditions into pre-trained diffusion models. Specifically, LaCon establishes an alignment between the external condition and the internal features of diffusion models, and utilizes the alignment to incorporate the target condition, guiding the sampling process to produce tailored results. Experimental results on COCO dataset illustrate the effectiveness and superior generalization capability of LaCon under various conditions and settings. Ablation studies investigate the functionalities of different components in LaCon, and illustrate its great potential to serve as an efficient solution to offer flexible controllability for diffusion models.
• Abstract（参考訳）: 拡散モデルは、フォトリアリスティックでクリエイティブな画像を生成する際、印象的な能力を示している。 生成過程の制御性を高めるため,本論文では早期制約法として,余剰条件を活用し,事前学習した拡散モデルに組み込む既存研究について述べる。 特に、条件を別々に扱うために条件固有のモジュールを採用するものもあり、他の条件をまたいだ一般化に苦慮している。 後続の研究では一般化問題を解くために統一された解が提示されているが、追加の入力やパラメータ最適化といった追加の資源も必要であり、より柔軟で効率的な解がステアブルなガイド付き画像合成を実行することが期待されている。 本稿では,LaCon(Lat-Constraint Diffusion)という代替パラダイムを提案し,様々な条件を事前学習拡散モデルに統合する。 具体的には、LaConは拡散モデルの外部条件と内部特性のアライメントを確立し、そのアライメントを利用してターゲット条件を組み込み、サンプリングプロセスを誘導し、調整された結果を生成する。 COCOデータセットの実験結果は、様々な条件と条件下でのLaConの有効性と優れた一般化能力を示している。 アブレーション研究は、LaConにおける様々な成分の機能について研究し、拡散モデルに柔軟な制御性を提供するための効率的な解決策として機能する大きな可能性を示している。

関連論文リスト

• Conditional Controllable Image Fusion [56.4120974322286]
  条件付き制御可能核融合(CCF)フレームワーク。 CCFは、実際には個々の個人に対して特定の核融合の制約を課している。 様々なシナリオにまたがる一般融合タスクにおける有効性を検証する実験。
  論文  参考訳（メタデータ） (2024-11-03T13:56:15Z)
• Model-Based Diffusion for Trajectory Optimization [8.943418808959494]
  データ無しで軌道最適化(TO)問題を解決するために拡散法を用いた最適化手法であるモデルベース拡散(MBD)を導入する。 MBDは外部データを必要としないが、様々な性質のデータと自然に統合して拡散過程を制御できる。 MBDは、最先端の強化学習とサンプリングベースのTOメソッドを上回り、コンタクトリッチなタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-05-28T22:14:25Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Constrained Synthesis with Projected Diffusion Models [47.56192362295252]
  本稿では, 制約や物理原理の遵守を満足し, 証明する上で, 生成拡散プロセスへのアプローチを紹介する。 提案手法は, 従来の生成拡散過程を制約分布問題として再キャストし, 制約の順守を保証する。
  論文  参考訳（メタデータ） (2024-02-05T22:18:16Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Enhanced Controllability of Diffusion Models via Feature Disentanglement and Realism-Enhanced Sampling Methods [27.014858633903867]
  拡散モデル(FDiff)の特徴分散のためのトレーニングフレームワークを提案する。 本稿では,拡散モデルの現実性を高め,制御性を高める2つのサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T07:43:00Z)
• ShiftDDPMs: Exploring Conditional Diffusion Models by Shifting Diffusion Trajectories [144.03939123870416]
  本稿では,前処理に条件を導入することで,新しい条件拡散モデルを提案する。 いくつかのシフト規則に基づいて各条件に対して排他的拡散軌跡を割り当てるために、余剰潜在空間を用いる。 我々は textbfShiftDDPMs と呼ぶメソッドを定式化し、既存のメソッドの統一的な視点を提供する。
  論文  参考訳（メタデータ） (2023-02-05T12:48:21Z)
• Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors [64.24948495708337]
  本研究では,事前訓練した非条件拡散モデルを用いて,予測サンプルをトレーニングデータ多様体に導入する手法を提案する。 我々は,超解像,着色,乱流除去,画像劣化作業におけるアプローチの有効性を実証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-12-14T17:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。