論文の概要: Hallo3: Highly Dynamic and Realistic Portrait Image Animation with Diffusion Transformer Networks

• arxiv url: http://arxiv.org/abs/2412.00733v1
• Date: Sun, 01 Dec 2024 08:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:32.279379
• Title: Hallo3: Highly Dynamic and Realistic Portrait Image Animation with Diffusion Transformer Networks
• Title（参考訳）: Hallo3:拡散変圧器ネットワークを用いた高ダイナミックでリアルな画像アニメーション
• Authors: Jiahao Cui, Hui Li, Yun Zhan, Hanlin Shang, Kaihui Cheng, Yuqi Ma, Shan Mu, Hang Zhou, Jingdong Wang, Siyu Zhu,
• Abstract要約: ポートレートアニメーションのための予め訓練されたトランスフォーマーに基づくビデオ生成モデルの最初の応用について紹介する。 提案手法は,ベンチマーク実験と新たに提案したワイルドデータセットを用いて検証する。
• 参考スコア（独自算出の注目度）: 25.39030226963548
• License:
• Abstract: Existing methodologies for animating portrait images face significant challenges, particularly in handling non-frontal perspectives, rendering dynamic objects around the portrait, and generating immersive, realistic backgrounds. In this paper, we introduce the first application of a pretrained transformer-based video generative model that demonstrates strong generalization capabilities and generates highly dynamic, realistic videos for portrait animation, effectively addressing these challenges. The adoption of a new video backbone model makes previous U-Net-based methods for identity maintenance, audio conditioning, and video extrapolation inapplicable. To address this limitation, we design an identity reference network consisting of a causal 3D VAE combined with a stacked series of transformer layers, ensuring consistent facial identity across video sequences. Additionally, we investigate various speech audio conditioning and motion frame mechanisms to enable the generation of continuous video driven by speech audio. Our method is validated through experiments on benchmark and newly proposed wild datasets, demonstrating substantial improvements over prior methods in generating realistic portraits characterized by diverse orientations within dynamic and immersive scenes. Further visualizations and the source code are available at: https://github.com/fudan-generative-vision/hallo3.
• Abstract（参考訳）: 既存のポートレート画像のアニメーション手法は、特に非フロント視点の扱い、ポートレートの周りの動的オブジェクトのレンダリング、没入的で現実的な背景の生成において、大きな課題に直面している。 本稿では,この課題を効果的に解決し,強力な一般化能力を示し,ポートレートアニメーションのための高ダイナミックでリアルなビデオを生成する,事前学習型トランスフォーマーベースビデオ生成モデルの導入について紹介する。 新しいビデオバックボーンモデルの採用により、以前のU-Netベースのアイデンティティメンテナンス、オーディオコンディショニング、ビデオ外挿が適用不可能になった。 この制限に対処するため、我々は、ビデオシーケンス間で一貫した顔認証を確保するために、一連のトランスフォーマー層を積み重ねた因果3D VAEからなるアイデンティティ参照ネットワークを設計する。 さらに,音声による連続的な映像生成を可能にするために,様々な音声条件付けやモーションフレーム機構について検討する。 提案手法は,従来の手法に比べて,動的・没入的なシーンにおける多彩な配向を特徴とするリアルなポートレートの生成において,顕著な改善が見られた。 さらなる視覚化とソースコードは、https://github.com/fudan-generative-vision/hallo3.comで公開されている。

関連論文リスト

• JoyVASA: Portrait and Animal Image Animation with Diffusion-Based Audio-Driven Facial Dynamics and Head Motion Generation [10.003794924759765]
  JoyVASAは、音声駆動型顔アニメーションにおける顔の動きと頭部の動きを生成する拡散法である。 本研究では,静的な3次元顔表現から動的表情を分離する分離された顔表現フレームワークを提案する。 第2段階では、拡散変圧器を訓練し、文字の同一性によらず、オーディオキューから直接動作シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-11-14T06:13:05Z)
• G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
  この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。 我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。 顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
  論文  参考訳（メタデータ） (2024-08-23T13:13:24Z)
• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• GenDeF: Learning Generative Deformation Field for Video Generation [89.49567113452396]
  我々は1つの静止画像を生成変形場(GenDeF)でワープすることで映像をレンダリングすることを提案する。 このようなパイプラインには,魅力的なメリットが3つあります。
  論文  参考訳（メタデータ） (2023-12-07T18:59:41Z)
• ReliTalk: Relightable Talking Portrait Generation from a Single Video [62.47116237654984]
  ReliTalkは、モノクロビデオから再生可能なオーディオ駆動型音声ポートレート生成のための新しいフレームワークである。 我々の重要な洞察は、ポートレートの反射を暗黙的に学習された音声駆動の顔の正常と画像から分解することである。
  論文  参考訳（メタデータ） (2023-09-05T17:59:42Z)
• High-Fidelity and Freely Controllable Talking Head Video Generation [31.08828907637289]
  本稿では,頭部ポーズと表情を自由に制御できる高忠実な音声ヘッドビデオを生成する新しいモデルを提案する。 顔の歪みを伴わずに効果的に動きを伝達する動き認識機能アライメントモジュールを新たに導入する。 我々は,挑戦的データセットのモデルを評価し,その最先端性能を実証する。
  論文  参考訳（メタデータ） (2023-04-20T09:02:41Z)
• PV3D: A 3D Generative Model for Portrait Video Generation [94.96025739097922]
  我々は,多視点一貫した肖像画を合成できる最初の生成フレームワークであるPV3Dを提案する。 PV3Dは、静的ポートレートのアニメーションやビュー一貫性のあるビデオモーション編集など、多くのダウンストリームアプリケーションをサポートすることができる。
  論文  参考訳（メタデータ） (2022-12-13T05:42:44Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering [56.762094966235566]
  ポートレート画像ニューラルレンダは、3次元の変形可能な顔モデルのパラメータで顔の動きを制御するために提案される。 提案モデルでは直感的な修正によって正確な動きで写真リアルなポートレート画像を生成することができる。 本モデルでは、単一の参照画像と駆動音声ストリームのみから、説得力のある動きでコヒーレントな動画を生成することができる。
  論文  参考訳（メタデータ） (2021-09-17T07:24:16Z)
• LipSync3D: Data-Efficient Learning of Personalized 3D Talking Faces from Video using Pose and Lighting Normalization [4.43316916502814]
  音声からパーソナライズされた3D音声をアニメーションするビデオベースの学習フレームワークを提案する。 データサンプルの効率を大幅に改善する2つのトレーニング時間データ正規化を導入する。 提案手法は,現在最先端のオーディオ駆動型ビデオ再現ベンチマークを,リアリズム,リップシンク,視覚的品質スコアの点で上回っている。
  論文  参考訳（メタデータ） (2021-06-08T08:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。