論文の概要: DynamiCtrl: Rethinking the Basic Structure and the Role of Text for High-quality Human Image Animation

• arxiv url: http://arxiv.org/abs/2503.21246v1
• Date: Thu, 27 Mar 2025 08:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:52:40.172617
• Title: DynamiCtrl: Rethinking the Basic Structure and the Role of Text for High-quality Human Image Animation
• Title（参考訳）: DynamiCtrl: 高品質な人体画像アニメーションのための基本構造とテキストの役割を再考する
• Authors: Haoyu Zhao, Zhongang Qi, Cong Wang, Qingping Zheng, Guansong Lu, Fei Chen, Hang Xu, Zuxuan Wu,
• Abstract要約: DynamiCtrlはMM-DiTで異なるポーズ誘導構造を探索する新しいフレームワークである。 適応層正規化を利用してスパースポーズ特徴を符号化するPose-Adaptive Layer Norm (PadaLN)を提案する。 テキストを活用することで、生成したコンテンツのきめ細かい制御を可能にするだけでなく、初めて背景と動きの同時制御を実現する。
• 参考スコア（独自算出の注目度）: 63.781450025764904
• License:
• Abstract: Human image animation has recently gained significant attention due to advancements in generative models. However, existing methods still face two major challenges: (1) architectural limitations, most models rely on U-Net, which underperforms compared to the MM-DiT; and (2) the neglect of textual information, which can enhance controllability. In this work, we introduce DynamiCtrl, a novel framework that not only explores different pose-guided control structures in MM-DiT, but also reemphasizes the crucial role of text in this task. Specifically, we employ a Shared VAE encoder for both reference images and driving pose videos, eliminating the need for an additional pose encoder and simplifying the overall framework. To incorporate pose features into the full attention blocks, we propose Pose-adaptive Layer Norm (PadaLN), which utilizes adaptive layer normalization to encode sparse pose features. The encoded features are directly added to the visual input, preserving the spatiotemporal consistency of the backbone while effectively introducing pose control into MM-DiT. Furthermore, within the full attention mechanism, we align textual and visual features to enhance controllability. By leveraging text, we not only enable fine-grained control over the generated content, but also, for the first time, achieve simultaneous control over both background and motion. Experimental results verify the superiority of DynamiCtrl on benchmark datasets, demonstrating its strong identity preservation, heterogeneous character driving, background controllability, and high-quality synthesis. The project page is available at https://gulucaptain.github.io/DynamiCtrl/.
• Abstract（参考訳）: 近年, 人体画像のアニメーションは, 生成モデルの進歩により注目されている。 しかし、既存の手法は、(1)アーキテクチャ上の制約、ほとんどのモデルはMM-DiTに比べて性能が劣るU-Netに依存している、(2)制御性を高めるためのテキスト情報の無視、という2つの大きな課題に直面している。 本研究では,MM-DiTにおける異なるポーズ誘導制御構造を探索するだけでなく,このタスクにおけるテキストの重要性を再強調する新しいフレームワークであるDynamiCtrlを紹介する。 具体的には、参照画像とドライビングポーズビデオの両方に共有VAEエンコーダを使用し、追加のポーズエンコーダの必要性を排除し、全体的なフレームワークを簡素化する。 ポーズ特徴をフルアテンションブロックに組み込むために,適応層正規化を利用してスパースポーズ特徴を符号化するPose-Adaptive Layer Norm (PadaLN)を提案する。 エンコードされた機能は視覚入力に直接付加され、後骨の時空間的一貫性を保ちながら、MM-DiTにポーズ制御を効果的に導入する。 さらに,フルアテンション機構内では,制御性を高めるためにテキストと視覚的特徴を整列する。 テキストを活用することで、生成したコンテンツのきめ細かい制御を可能にするだけでなく、初めて背景と動きの同時制御を実現する。 実験により、ベンチマークデータセット上でのDynamiCtrlの優位性を検証し、その強いアイデンティティ保存、異種文字駆動、背景制御性、高品質な合成を実証した。 プロジェクトページはhttps://gulucaptain.github.io/DynamiCtrl/.com/で公開されている。

関連論文リスト

• Context Canvas: Enhancing Text-to-Image Diffusion Models with Knowledge Graph-Based RAG [6.701537544179892]
  本稿では,グラフベースのRAGを組み込むことにより,テキスト・ツー・イメージ・モデルの能力を高める新しい手法を提案する。 本システムは知識グラフから詳細な文字情報と関係データを動的に取得し,視覚的・文脈的にリッチな画像の生成を可能にする。
  論文  参考訳（メタデータ） (2024-12-12T18:59:41Z)
• FBSDiff: Plug-and-Play Frequency Band Substitution of Diffusion Features for Highly Controllable Text-Driven Image Translation [19.65838242227773]
  本稿では,大規模テキスト・ツー・イメージ(T2I)拡散モデルとイメージ・ツー・イメージ(I2I)パラダイムをプラグ・アンド・プレイ方式で適用する,新しい,簡潔かつ効率的なアプローチを提案する。 本手法は,周波数帯域のタイプや帯域幅を調整するだけで,参照画像の導出係数と導出強度の両方を柔軟に制御できる。
  論文  参考訳（メタデータ） (2024-08-02T04:13:38Z)
• LASER: Tuning-Free LLM-Driven Attention Control for Efficient Text-conditioned Image-to-Animation [52.16008431411513]
  LASERは、チューニング不要のLCM駆動のアテンションコントロールフレームワークである。 テキスト条件付きイメージ・トゥ・アニメーションベンチマークを提案し,その有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2024-04-21T07:13:56Z)
• SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models [84.71887272654865]
  SparseCtrlは時間的にスパース信号で柔軟な構造制御を可能にする。 トレーニング済みのT2Vモデルに触ることなく、これらのスパース信号を処理するための追加条件が組み込まれている。 提案手法はスケッチ,深度マップ,RGB画像など,さまざまなモダリティと互換性がある。
  論文  参考訳（メタデータ） (2023-11-28T16:33:08Z)
• Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation [10.39028769374367]
  本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。 本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
  論文  参考訳（メタデータ） (2022-11-22T20:39:18Z)
• Scaling Autoregressive Models for Content-Rich Text-to-Image Generation [95.02406834386814]
  Partiは、テキスト・ツー・イメージ生成をシーケンス・ツー・シーケンス・モデリング問題として扱う。 PartiはTransformerベースの画像トークンライザViT-VQGANを使用して、画像を離散トークンのシーケンスとしてエンコードする。 PartiPrompts (P2)は1600以上の英語のプロンプトの総合的なベンチマークである。
  論文  参考訳（メタデータ） (2022-06-22T01:11:29Z)
• Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
  本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。 我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。 テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
  論文  参考訳（メタデータ） (2021-08-03T08:38:16Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。