論文の概要: A Simple Approach to Unifying Diffusion-based Conditional Generation

• arxiv url: http://arxiv.org/abs/2410.11439v1
• Date: Tue, 15 Oct 2024 09:41:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:15.627692
• Title: A Simple Approach to Unifying Diffusion-based Conditional Generation
• Title（参考訳）: 拡散に基づく条件生成の簡易化
• Authors: Xirui Li, Charles Herrmann, Kelvin C. K. Chan, Yinxiao Li, Deqing Sun, Chao Ma, Ming-Hsuan Yang,
• Abstract要約: 多様な条件生成タスクを処理するための、シンプルで統一されたフレームワークを導入します。 提案手法は,異なる推論時間サンプリング方式による多目的化を実現する。 我々のモデルは、非親密なアライメントや粗い条件付けのような追加機能をサポートしています。
• 参考スコア（独自算出の注目度）: 63.389616350290595
• License:
• Abstract: Recent progress in image generation has sparked research into controlling these models through condition signals, with various methods addressing specific challenges in conditional generation. Instead of proposing another specialized technique, we introduce a simple, unified framework to handle diverse conditional generation tasks involving a specific image-condition correlation. By learning a joint distribution over a correlated image pair (e.g. image and depth) with a diffusion model, our approach enables versatile capabilities via different inference-time sampling schemes, including controllable image generation (e.g. depth to image), estimation (e.g. image to depth), signal guidance, joint generation (image & depth), and coarse control. Previous attempts at unification often introduce significant complexity through multi-stage training, architectural modification, or increased parameter counts. In contrast, our simple formulation requires a single, computationally efficient training stage, maintains the standard model input, and adds minimal learned parameters (15% of the base model). Moreover, our model supports additional capabilities like non-spatially aligned and coarse conditioning. Extensive results show that our single model can produce comparable results with specialized methods and better results than prior unified methods. We also demonstrate that multiple models can be effectively combined for multi-signal conditional generation.
• Abstract（参考訳）: 画像生成の最近の進歩は、条件生成における特定の課題に対処する様々な手法を用いて、条件信号を介してこれらのモデルを制御する研究を巻き起こしている。 我々は,他の特殊な手法を提案する代わりに,特定の画像条件相関を含む多様な条件生成タスクを処理するための,シンプルで統一されたフレームワークを導入する。 拡散モデルを用いて相関画像対(eg画像と深度)の関節分布を学習することにより、制御可能な画像生成(eg画像から深度)、推定(eg画像から深度)、信号誘導、関節生成(画像と深度)、粗い制御を含む、様々な推論時間サンプリングスキームによる多目的化を可能にした。 以前の統合の試みは、多段階のトレーニング、アーキテクチャ修正、パラメータ数の増加を通じて、しばしば重大な複雑さをもたらす。 対照的に、我々の単純な定式化には、単一の計算効率の訓練段階が必要であり、標準モデルの入力を維持し、最小限の学習パラメータ(ベースモデルの15%)を追加する。 さらに、本モデルでは、非親密なアライメントや粗い条件付けといった付加的な機能をサポートしています。 以上の結果から,従来の統一された手法に比べて,特定の手法と優れた結果が得られることが示唆された。 また,マルチ信号条件生成に複数のモデルを効果的に組み合わせることも実証した。

関連論文リスト

• Attack Deterministic Conditional Image Generative Models for Diverse and Controllable Generation [17.035117118768945]
  本稿では,多様な制御可能な画像生成のためのプラグイン投影勾配降下法(PGD)を提案する。 鍵となる考え方は、入力条件に微小摂動を加えることで、事前訓練された決定論的生成モデルを攻撃することである。 我々の研究は、低レベルの視覚タスクに敵攻撃を適用するための扉を開く。
  論文  参考訳（メタデータ） (2024-03-13T06:57:23Z)
• CoDi: Conditional Diffusion Distillation for Higher-Fidelity and Faster Image Generation [49.3016007471979]
  大規模な生成拡散モデルは、テキスト・ツー・イメージ生成に革命をもたらし、条件付き生成タスクに大きな可能性を秘めている。 しかし、彼らの普及は高い計算コストによって妨げられ、リアルタイムの応用が制限される。 本稿では,事前学習した潜伏拡散モデルに付加的な画像条件入力を適応させるCoDiという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:18Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
  本稿では,条件付き画像生成のための多目的フレームワークを提案する。 CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。 提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
  論文  参考訳（メタデータ） (2022-07-21T22:19:17Z)
• Meta Internal Learning [88.68276505511922]
  単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。 本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。 以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:27:38Z)
• Cascading Modular Network (CAM-Net) for Multimodal Image Synthesis [7.726465518306907]
  永続的な課題は、同じ入力画像から出力画像の多様なバージョンを生成することである。 我々は,幅広いタスクに適用可能な統一アーキテクチャであるCAM-Netを提案する。 FID(Frechet Inception Distance)は、ベースラインに比べて最大45.3%低減できる。
  論文  参考訳（メタデータ） (2021-06-16T17:58:13Z)
• Diverse Semantic Image Synthesis via Probability Distribution Modeling [103.88931623488088]
  新規な多様な意味的画像合成フレームワークを提案する。 本手法は最先端手法と比較して優れた多様性と同等の品質を実現することができる。
  論文  参考訳（メタデータ） (2021-03-11T18:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。