論文の概要: Aggregation of Multi Diffusion Models for Enhancing Learned Representations

• arxiv url: http://arxiv.org/abs/2410.01262v1
• Date: Wed, 2 Oct 2024 06:16:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 22:09:02.266850
• Title: Aggregation of Multi Diffusion Models for Enhancing Learned Representations
• Title（参考訳）: 学習表現の強化のための多次元拡散モデルの集約
• Authors: Conghan Yue, Zhengwei Peng, Shiyan Du, Zhi Ji, Dongyu Zhang,
• Abstract要約: 本稿では, Aggregation of Multi Diffusion Models (AMDM) を提案する。 AMDMは、複数の拡散モデルから特定のモデルに特徴を合成し、学習された表現を拡張して、きめ細かい制御のために特定の特徴を活性化する。 実験の結果,AMDMはトレーニング時間や推論時間を必要とせず,微粒化制御を著しく改善することがわかった。
• 参考スコア（独自算出の注目度）: 4.126721111013567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have achieved remarkable success in image generation, particularly with the various applications of classifier-free guidance conditional diffusion models. While many diffusion models perform well when controlling for particular aspect among style, character, and interaction, they struggle with fine-grained control due to dataset limitations and intricate model architecture design. This paper introduces a novel algorithm, Aggregation of Multi Diffusion Models (AMDM), which synthesizes features from multiple diffusion models into a specified model, enhancing its learned representations to activate specific features for fine-grained control. AMDM consists of two key components: spherical aggregation and manifold optimization. Spherical aggregation merges intermediate variables from different diffusion models with minimal manifold deviation, while manifold optimization refines these variables to align with the intermediate data manifold, enhancing sampling quality. Experimental results demonstrate that AMDM significantly improves fine-grained control without additional training or inference time, proving its effectiveness. Additionally, it reveals that diffusion models initially focus on features such as position, attributes, and style, with later stages improving generation quality and consistency. AMDM offers a new perspective for tackling the challenges of fine-grained conditional control generation in diffusion models: We can fully utilize existing conditional diffusion models that control specific aspects, or develop new ones, and then aggregate them using the AMDM algorithm. This eliminates the need for constructing complex datasets, designing intricate model architectures, and incurring high training costs. Code is available at: https://github.com/Hammour-steak/AMDM
• Abstract（参考訳）: 拡散モデルは画像生成において顕著に成功し、特に分類器なし誘導条件拡散モデルの様々な応用で成功している。 多くの拡散モデルは、スタイル、キャラクタ、インタラクションの特定の側面を制御するときによく機能するが、データセットの制限や複雑なモデルアーキテクチャ設計のために細かい制御に苦労する。 本稿では、複数の拡散モデルから特定のモデルに特徴を合成し、その学習表現を拡張して、細かい制御のために特定の特徴を活性化する新しいアルゴリズム、AMDM(Aggregation of Multi Diffusion Models)を提案する。 AMDMは球面アグリゲーションと多様体最適化という2つの重要な要素から構成される。 球面アグリゲーションは、最小の多様体偏差を持つ異なる拡散モデルから中間変数をマージする一方、多様体最適化は、これらの変数を中間データ多様体と整合させ、サンプリング品質を向上する。 実験の結果,AMDMはトレーニングや推論時間を増やすことなく微粒化制御を著しく改善し,その効果が証明された。 さらに、拡散モデルは最初は位置、属性、スタイルなどの機能に重点を置いており、後段では生成品質と一貫性を改善している。 AMDMは、拡散モデルにおけるきめ細かい条件制御生成の課題に対処するための新しい視点を提供する: 特定の側面を制御したり、新しいものを開発したり、AMDMアルゴリズムを使ってそれらを集約する既存の条件拡散モデルを完全に活用することができる。 これにより、複雑なデータセットの構築、複雑なモデルアーキテクチャの設計、高いトレーニングコストが不要になる。 コードは、https://github.com/Hammour-steak/AMDMで入手できる。

関連論文リスト

• Adaptively Controllable Diffusion Model for Efficient Conditional Image Generation [8.857237929151795]
  本稿では,新たな適応フレームワークである$textitAdaptively Controllable Diffusion (AC-Diff) Model$を提案する。 AC-Diffは、文学拡散モデルと同じ性能を維持しつつ、平均生成ステップ数と実行時間を大幅に削減することが期待されている。
  論文  参考訳（メタデータ） (2024-11-19T21:26:30Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Model-Based Diffusion for Trajectory Optimization [8.943418808959494]
  データ無しで軌道最適化(TO)問題を解決するために拡散法を用いた最適化手法であるモデルベース拡散(MBD)を導入する。 MBDは外部データを必要としないが、様々な性質のデータと自然に統合して拡散過程を制御できる。 MBDは、最先端の強化学習とサンプリングベースのTOメソッドを上回り、コンタクトリッチなタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-05-28T22:14:25Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
  拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。 本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。 これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
  論文  参考訳（メタデータ） (2023-02-22T18:48:46Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。