論文の概要: Collaborative Diffusion for Multi-Modal Face Generation and Editing

• arxiv url: http://arxiv.org/abs/2304.10530v1
• Date: Thu, 20 Apr 2023 17:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 11:58:42.952924
• Title: Collaborative Diffusion for Multi-Modal Face Generation and Editing
• Title（参考訳）: マルチモーダル顔生成・編集のための協調拡散
• Authors: Ziqi Huang, Kelvin C.K. Chan, Yuming Jiang, Ziwei Liu
• Abstract要約: 本稿では,事前学習した単モーダル拡散モデルと協調して複数モーダル顔の生成と編集を行うコラボレーティブ拡散について述べる。 具体的には、事前学習された各ユニモーダルモデルに対する空間的時間的影響関数を予測することにより、マルチモーダルな認知ステップを適応的に幻覚するメタネットワークである動的ディフューザを提案する。
• 参考スコア（独自算出の注目度）: 34.16906110777047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models arise as a powerful generative tool recently. Despite the great progress, existing diffusion models mainly focus on uni-modal control, i.e., the diffusion process is driven by only one modality of condition. To further unleash the users' creativity, it is desirable for the model to be controllable by multiple modalities simultaneously, e.g., generating and editing faces by describing the age (text-driven) while drawing the face shape (mask-driven). In this work, we present Collaborative Diffusion, where pre-trained uni-modal diffusion models collaborate to achieve multi-modal face generation and editing without re-training. Our key insight is that diffusion models driven by different modalities are inherently complementary regarding the latent denoising steps, where bilateral connections can be established upon. Specifically, we propose dynamic diffuser, a meta-network that adaptively hallucinates multi-modal denoising steps by predicting the spatial-temporal influence functions for each pre-trained uni-modal model. Collaborative Diffusion not only collaborates generation capabilities from uni-modal diffusion models, but also integrates multiple uni-modal manipulations to perform multi-modal editing. Extensive qualitative and quantitative experiments demonstrate the superiority of our framework in both image quality and condition consistency.
• Abstract（参考訳）: 拡散モデルは最近強力な生成ツールとして現れる。 大きな進展にもかかわらず、既存の拡散モデルは主に一様制御、すなわち拡散過程は条件の1つの様相によってのみ駆動される。 ユーザの創造性をさらに解き放つためには、例えば、顔の形(マスク駆動)を描きながら、年齢(テキスト駆動)を記述して顔を生成し編集するなど、複数のモードで同時に制御できることが望ましい。 本研究では,事前学習した単モーダル拡散モデルと協調して複数モーダル顔の生成と編集を行うコラボレーティブ拡散について述べる。 私たちの重要な洞察は、異なるモダリティによって駆動される拡散モデルは、両側の接続が確立できる潜在分別ステップにおいて本質的に相補的であるということです。 具体的には,事前学習された各ユニモーダルモデルに対する空間-時間影響関数を予測し,マルチモーダル化ステップを適応的に提示するメタネットワークである動的ディフューザを提案する。 協調拡散は、ユニモーダル拡散モデルから生成能力を協調するだけでなく、複数のユニモーダル操作を統合してマルチモーダル編集を行う。 画像品質と条件整合性の両方において,我々のフレームワークの優位性を示す。

関連論文リスト

• Diff-2-in-1: Bridging Generation and Dense Perception with Diffusion Models [39.127620891450526]
  マルチモーダルデータ生成と濃密な視覚知覚の両方を扱うために,統一的で汎用的な拡散型フレームワークDiff-2-in-1を導入する。 また,従来のトレーニングセットの分布を反映したマルチモーダルデータを作成するために,デノナイジングネットワークを利用することにより,マルチモーダル生成による識別的視覚知覚をさらに強化する。
  論文  参考訳（メタデータ） (2024-11-07T18:59:53Z)
• Diffusion Models For Multi-Modal Generative Modeling [32.61765315067488]
  本稿では,共通拡散空間における統一多モード拡散モデルを構築することにより,拡散モデルを定義するための原理的手法を提案する。 本稿では,画像遷移,マスクイメージトレーニング,共同画像ラベル,共同画像表現生成モデリングなどのフレームワークを検証するために,複数のマルチモーダル生成設定を提案する。
  論文  参考訳（メタデータ） (2024-07-24T18:04:17Z)
• InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion [53.90516061351706]
  両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。 サンプリングにアンチペネティフィケーションと合成フリーガイダンスを組み合わせることで、プラウシブルな生成を可能にする。 本手法は, 妥当性と多様性の観点から, ベースライン生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-03-26T06:35:55Z)
• FedDiff: Diffusion Model Driven Federated Learning for Multi-Modal and Multi-Clients [32.59184269562571]
  我々はFedDiffと呼ばれる多モード協調拡散学習フレームワークを提案する。 本フレームワークは,2つのモーダルデータをエンコーダの別々の分岐に入力するデュアルブランチ拡散モデル特徴抽出設定を確立する。 複数のクライアント間のプライベートかつ効率的なコミュニケーションの課題を考慮し、拡散モデルを連合学習コミュニケーション構造に組み込む。
  論文  参考訳（メタデータ） (2023-11-16T02:29:37Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Multi-modal Latent Diffusion [8.316365279740188]
  多モード変分オートエンコーダ(Multi-modal Variational Autoencoder)は、様々なモダリティの合同表現を学習することを目的とした、一般的なモデルのファミリーである。 既存のアプローチはコヒーレンス品質のトレードオフに悩まされており、優れた世代品質のモデルはモダリティ間で生成コヒーレンスを欠いている。 独立に訓練された一様・一様・決定論的オートエンコーダの集合を用いる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T14:16:44Z)
• Diffusion Glancing Transformer for Parallel Sequence to Sequence Learning [52.72369034247396]
  モーダリティ拡散プロセスと残差グランシングサンプリングを併用した拡散グランシング変換器を提案する。 DIFFGLATは、自己回帰モデルと非自己回帰モデルの両方と比較して、高速な復号速度を維持しながら、より優れた生成精度を実現する。
  論文  参考訳（メタデータ） (2022-12-20T13:36:25Z)
• Unified Discrete Diffusion for Simultaneous Vision-Language Generation [78.21352271140472]
  本稿では,「モダリティ変換」タスクと「マルチモダリティ生成」タスクの両方を実行することができる統一型マルチモーダル生成モデルを提案する。 具体的には,マルチモーダル信号の離散拡散過程を統一遷移行列を用いて統一する。 提案手法は, 様々な生成タスクにおいて, 最先端のソリューションと同等に動作可能である。
  論文  参考訳（メタデータ） (2022-11-27T14:46:01Z)
• Versatile Diffusion: Text, Images and Variations All in One Diffusion Model [76.89932822375208]
  Versatile Diffusionは、テキスト・ツー・イメージ、画像・ツー・テキスト、バリエーションの複数のフローを1つの統一モデルで処理する。 私たちのコードとモデルはhttps://github.com/SHI-Labs/Versatile-Diffusion.comでオープンソース化されています。
  論文  参考訳（メタデータ） (2022-11-15T17:44:05Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。