論文の概要: Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

• arxiv url: http://arxiv.org/abs/2509.14055v1
• Date: Wed, 17 Sep 2025 15:00:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.894381
• Title: Wan-Animate: Unified Character Animation and Replacement with Holistic Replication
• Title（参考訳）: Wan-Animate:一貫したキャラクタアニメーションとホロリスティックなリプリケーションによるリプレース
• Authors: Gang Cheng, Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Ju Li, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Feng Wang, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo,
• Abstract要約: 文字アニメーションと置き換えのための統合フレームワークであるWan-Animateを紹介する。 映像中のキャラクタの表情や動きを正確に再現し、高忠実度キャラクタビデオを生成することにより、キャラクタをアニメーション化することができる。 アニメーションキャラクタをリファレンスビデオに統合して、元のキャラクタを置き換えることで、シーンのライティングと色調を再現することができる。
• 参考スコア（独自算出の注目度）: 53.619006977292635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Wan-Animate, a unified framework for character animation and replacement. Given a character image and a reference video, Wan-Animate can animate the character by precisely replicating the expressions and movements of the character in the video to generate high-fidelity character videos. Alternatively, it can integrate the animated character into the reference video to replace the original character, replicating the scene's lighting and color tone to achieve seamless environmental integration. Wan-Animate is built upon the Wan model. To adapt it for character animation tasks, we employ a modified input paradigm to differentiate between reference conditions and regions for generation. This design unifies multiple tasks into a common symbolic representation. We use spatially-aligned skeleton signals to replicate body motion and implicit facial features extracted from source images to reenact expressions, enabling the generation of character videos with high controllability and expressiveness. Furthermore, to enhance environmental integration during character replacement, we develop an auxiliary Relighting LoRA. This module preserves the character's appearance consistency while applying the appropriate environmental lighting and color tone. Experimental results demonstrate that Wan-Animate achieves state-of-the-art performance. We are committed to open-sourcing the model weights and its source code.
• Abstract（参考訳）: 文字アニメーションと置き換えのための統合フレームワークであるWan-Animateを紹介する。 Wan-Animateは、キャラクタ画像と参照ビデオが与えられた場合、動画中のキャラクタの表情と動きを正確に再現して、高忠実度キャラクタビデオを生成することにより、キャラクタをアニメーション化することができる。 あるいは、アニメーションキャラクタをリファレンスビデオに統合して、元のキャラクタを置き換え、シーンのライティングと色調を再現することで、シームレスな環境統合を実現する。 Wan-AnimateはWanモデルをベースにしている。 文字アニメーションタスクに適応するために、参照条件と生成領域を区別するために、修正された入力パラダイムを用いる。 この設計は複数のタスクを共通のシンボル表現に統一する。 我々は空間的に整列した骨格信号を用いて、画像から抽出した身体の動きと暗黙の顔の特徴を再現し、表現を再現し、高い制御性と表現性を持つキャラクタビデオの生成を可能にする。 さらに,文字置換時の環境統合性を高めるため,補助的なリライトロラを開発した。 このモジュールは、適切な環境照明と色調を適用しながら文字の外観の整合性を保っている。 実験の結果,Wan-Animateは最先端の性能を達成できた。 私たちは、モデルの重みとそのソースコードをオープンソースにすることを約束しています。

関連論文リスト

• Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance [30.225654002561512]
  Animate Anyone 2を紹介する。 本研究では,文字と環境の関係をより効果的に特徴づける形状に依存しないマスク戦略を提案する。 また、モデルがより多様な動きパターンを扱えるように、ポーズ変調戦略を導入する。
  論文  参考訳（メタデータ） (2025-02-10T04:20:11Z)
• AniDoc: Animation Creation Made Easier [54.97341104616779]
  我々の研究は、ますます強力なAIの可能性を生かして、2Dアニメーションを制作する際のコスト削減に重点を置いている。 AniDocはビデオラインアートのカラー化ツールとして登場し、自動的にスケッチシーケンスをカラーアニメーションに変換する。 本モデルでは,一致マッチングを明示的なガイダンスとして活用し,基準文字と各ラインアートフレームの変動に強いロバスト性を与える。
  論文  参考訳（メタデータ） (2024-12-18T18:59:59Z)
• Zero-shot High-fidelity and Pose-controllable Character Animation [89.74818983864832]
  イメージ・ツー・ビデオ(I2V)生成は、単一の画像からビデオシーケンスを作成することを目的としている。 既存のアプローチは、キャラクターの外観の不整合と細部保存の貧弱さに悩まされている。 文字アニメーションのための新しいゼロショットI2VフレームワークPoseAnimateを提案する。
  論文  参考訳（メタデータ） (2024-04-21T14:43:31Z)
• AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
  動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。 AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。 我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
  論文  参考訳（メタデータ） (2024-04-07T12:57:41Z)
• Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation [27.700371215886683]
  拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。 本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。 トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-11-28T12:27:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。