論文の概要: DreamActor-M1: Holistic, Expressive and Robust Human Image Animation with Hybrid Guidance

• arxiv url: http://arxiv.org/abs/2504.01724v1
• Date: Wed, 02 Apr 2025 13:30:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:24.133924
• Title: DreamActor-M1: Holistic, Expressive and Robust Human Image Animation with Hybrid Guidance
• Title（参考訳）: DreamActor-M1:ハイブリッド誘導によるホロスティックで表現的でロバストな人間のイメージアニメーション
• Authors: Yuxuan Luo, Zhengkun Rong, Lizhen Wang, Longhao Zhang, Tianshu Hu, Yongming Zhu,
• Abstract要約: 本稿では,DreamActor-M1 を用いた拡散トランスフォーマ (DiT) ベースのフレームワークを提案する。 動作誘導のために、暗黙の表情、3次元頭部球体、および3次元体骨格を統合したハイブリッド制御信号は、表情と身体運動の堅牢な制御を実現する。 実験により,本手法は,肖像画,上半身,全体生成の表現的結果を提示し,最先端の成果よりも優れることが示された。
• 参考スコア（独自算出の注目度）: 9.898947423344884
• License:
• Abstract: While recent image-based human animation methods achieve realistic body and facial motion synthesis, critical gaps remain in fine-grained holistic controllability, multi-scale adaptability, and long-term temporal coherence, which leads to their lower expressiveness and robustness. We propose a diffusion transformer (DiT) based framework, DreamActor-M1, with hybrid guidance to overcome these limitations. For motion guidance, our hybrid control signals that integrate implicit facial representations, 3D head spheres, and 3D body skeletons achieve robust control of facial expressions and body movements, while producing expressive and identity-preserving animations. For scale adaptation, to handle various body poses and image scales ranging from portraits to full-body views, we employ a progressive training strategy using data with varying resolutions and scales. For appearance guidance, we integrate motion patterns from sequential frames with complementary visual references, ensuring long-term temporal coherence for unseen regions during complex movements. Experiments demonstrate that our method outperforms the state-of-the-art works, delivering expressive results for portraits, upper-body, and full-body generation with robust long-term consistency. Project Page: https://grisoon.github.io/DreamActor-M1/.
• Abstract（参考訳）: 最近の画像に基づく人間のアニメーション法は、現実的な身体と顔の動きの合成を実現するが、重要なギャップは、細粒度の全体制御性、多スケール適応性、長期の時間的コヒーレンスに留まり、表現力と頑健さは低下する。 本稿では,これらの制約を克服するためのハイブリッドガイダンスを備えた拡散変換器(DiT)ベースのフレームワークDreamActor-M1を提案する。 動作誘導には, 暗黙の表情, 3次元の頭部球, 3次元の身体骨格を組み込んだハイブリッド制御信号が, 表情や身体の動きの堅牢な制御を実現し, 表現的, アイデンティティ保護的なアニメーションを生成する。 スケール適応には,肖像画から全体像まで多様な身体ポーズや画像尺度を扱うために,様々な解像度とスケールを持つデータを用いて,プログレッシブなトレーニング戦略を採用する。 外観指導のために, 連続したフレームからの動作パターンを相補的な視覚的参照と統合し, 複雑な動きの時空間の長期的コヒーレンスを確保する。 実験により,本手法は,肖像画,上半身,全体生成の表現的結果と長期的整合性に優れることを示す。 Project Page: https://grisoon.github.io/DreamActor-M1/

関連論文リスト

• X-Dyna: Expressive Dynamic Human Image Animation [49.896933584815926]
  X-Dynaは、単一の人間のイメージをアニメーションするための、ゼロショットで拡散ベースのパイプラインである。 対象と周辺環境の両方に対して現実的でコンテキスト対応のダイナミクスを生成する。
  論文  参考訳（メタデータ） (2025-01-17T08:10:53Z)
• GoHD: Gaze-oriented and Highly Disentangled Portrait Animation with Rhythmic Poses and Realistic Expression [33.886734972316326]
  GoHDは、非常にリアルで表現力があり、コントロール可能なポートレートビデオを作成するために設計されたフレームワークである。 潜時ナビゲーションを利用したアニメーションモジュールを導入し、目に見えない入力スタイルの一般化能力を向上させる。 コンホメータ構造付き条件拡散モデルは、韻律を意識した頭部ポーズを保証するように設計されている。 2段階のトレーニング戦略は、より時間依存的ではあるが、音声関連の少ない動きの発生から、頻繁でフレームワイドな唇運動蒸留を分離するために考案された。
  論文  参考訳（メタデータ） (2024-12-12T14:12:07Z)
• Physically Plausible Animation of Human Upper Body from a Single Image [41.027391105867345]
  制御可能で動的に応答し,フォトリアリスティックな人間のアニメーションを生成する新しい方法を提案する。 本システムでは,画像空間におけるインタラクションを用いて,物理的に可視な上半身アニメーション(PUBA)を生成することができる。
  論文  参考訳（メタデータ） (2022-12-09T09:36:59Z)
• Generating Holistic 3D Human Motion from Speech [97.11392166257791]
  同期音声を用いた3次元全体体メッシュの高品質データセットを構築した。 次に,顔,体,手が別々にモデル化される新しい音声合成フレームワークを定義する。
  論文  参考訳（メタデータ） (2022-12-08T17:25:19Z)
• Drivable Volumetric Avatars using Texel-Aligned Features [52.89305658071045]
  光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。 本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-20T09:28:16Z)
• Video-driven Neural Physically-based Facial Asset for Production [33.24654834163312]
  高品質な物理的資産を持つ動的顔のジオメトリを生成するための,学習に基づく新しいビデオ駆動型アプローチを提案する。 本手法は,従来の映像駆動型顔再構成法やアニメーション法よりも精度が高く,視覚的忠実度が高い。
  論文  参考訳（メタデータ） (2022-02-11T13:22:48Z)
• Imposing Temporal Consistency on Deep Monocular Body Shape and Pose Estimation [67.23327074124855]
  本稿では,適合過程における時間的制約の統合に対するエレガントな解法を提案する。 我々は、顎ポーズ、表情、指ポーズを含む人物の形状と動きを表す一連の身体モデルのパラメーターを導出する。 本手法は,表情や手話を含む画像系列からリアルな3次元体モデルの導出を可能にする。
  論文  参考訳（メタデータ） (2022-02-07T11:11:55Z)
• Task-Generic Hierarchical Human Motion Prior using VAEs [44.356707509079044]
  人間の動きを記述する深い生成モデルは、幅広いコンピュータビジョンやグラフィックタスクに役立てることができる。 本稿では,グローバル・ローカル・ラテント・スペースの組み合わせを用いて,特定のタスクに依存しない複雑な人間の動作を学習する手法を提案する。 映像に基づく人間のポーズ推定を含む様々なタスクにおいて,階層的な動き変動自動エンコーダの有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-07T23:11:42Z)
• Style and Pose Control for Image Synthesis of Humans from a Single Monocular View [78.6284090004218]
  StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。 我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。 StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
  論文  参考訳（メタデータ） (2021-02-22T18:50:47Z)
• Monocular Real-time Full Body Capture with Inter-part Correlations [66.22835689189237]
  本稿では,体と手の形状と運動を1色画像から動的3次元顔モデルと共に推定する,実時間フルボディキャプチャの最初の手法を提案する。 提案手法では,体と手の相関を高い計算効率で活用する新しいニューラルネットワークアーキテクチャを用いる。
  論文  参考訳（メタデータ） (2020-12-11T02:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。