論文の概要: Improving Fine-Grained Control via Aggregation of Multiple Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.01262v2
• Date: Thu, 05 Dec 2024 08:44:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:38:02.703854
• Title: Improving Fine-Grained Control via Aggregation of Multiple Diffusion Models
• Title（参考訳）: 多重拡散モデルの凝集による微粒化制御の改善
• Authors: Conghan Yue, Zhengwei Peng, Shiyan Du, Zhi Ji, Chuangjian Cai, Le Wan, Dongyu Zhang,
• Abstract要約: 本稿では,AMDM(Aggregation of Multiple Diffusion Models)という新しいアルゴリズムを提案する。 AMDMは複数の拡散モデルから特定のモデルに特徴を合成し、きめ細かい制御のために特定の特徴を活性化する。 実験結果から,AMDMはトレーニング無しで微粒化制御を著しく改善し,その効果が証明された。
• 参考スコア（独自算出の注目度）: 4.703252654452953
• License:
• Abstract: While many diffusion models perform well when controlling for particular aspect among style, character, and interaction, they struggle with fine-grained control due to dataset limitations and intricate model architecture design. This paper introduces a novel algorithm, Aggregation of Multiple Diffusion Models (AMDM), which synthesizes features from multiple diffusion models into a specified model, activating specific features for fine-grained control. Experimental results demonstrate that AMDM significantly improves fine-grained control without training, proving its effectiveness. Additionally, it reveals that diffusion models initially focus on features such as position, attributes, and style, with later stages improving generation quality and consistency. AMDM offers a new perspective for tackling the challenges of fine-grained conditional control generation in diffusion models: We can fully utilize existing or develop new conditional diffusion models that control specific aspects, and then aggregate them using AMDM algorithm. This eliminates the need for constructing complex datasets, designing intricate model architectures, and incurring high training costs. Code is available at: https://github.com/Hammour-steak/AMDM.
• Abstract（参考訳）: 多くの拡散モデルは、スタイル、キャラクタ、インタラクションの特定の側面を制御するときによく機能するが、データセットの制限や複雑なモデルアーキテクチャ設計のために細かい制御に苦労する。 本稿では,複数の拡散モデルから特定のモデルに特徴を合成し,細粒度制御のための特定の特徴を活性化する,新しいアルゴリズムAggregation of Multiple Diffusion Models (AMDM)を提案する。 実験結果から,AMDMはトレーニングなしで微粒化制御を著しく改善し,その有効性が示された。 さらに、拡散モデルは最初は位置、属性、スタイルなどの機能に重点を置いており、後段では生成品質と一貫性を改善している。 AMDMは、拡散モデルにおけるきめ細かい条件制御生成の課題に対処するための新しい視点を提供する。 これにより、複雑なデータセットの構築、複雑なモデルアーキテクチャの設計、高いトレーニングコストが不要になる。 コードは、https://github.com/Hammour-steak/AMDM.comで入手できる。

関連論文リスト

• Adaptively Controllable Diffusion Model for Efficient Conditional Image Generation [8.857237929151795]
  本稿では,新たな適応フレームワークである$textitAdaptively Controllable Diffusion (AC-Diff) Model$を提案する。 AC-Diffは、文学拡散モデルと同じ性能を維持しつつ、平均生成ステップ数と実行時間を大幅に削減することが期待されている。
  論文  参考訳（メタデータ） (2024-11-19T21:26:30Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Model-Based Diffusion for Trajectory Optimization [8.943418808959494]
  データ無しで軌道最適化(TO)問題を解決するために拡散法を用いた最適化手法であるモデルベース拡散(MBD)を導入する。 MBDは外部データを必要としないが、様々な性質のデータと自然に統合して拡散過程を制御できる。 MBDは、最先端の強化学習とサンプリングベースのTOメソッドを上回り、コンタクトリッチなタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-05-28T22:14:25Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
  拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。 本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。 これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
  論文  参考訳（メタデータ） (2023-02-22T18:48:46Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。