論文の概要: DAWN: Dynamic Frame Avatar with Non-autoregressive Diffusion Framework for Talking Head Video Generation

• arxiv url: http://arxiv.org/abs/2410.13726v2
• Date: Fri, 18 Oct 2024 04:19:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 10:25:43.098654
• Title: DAWN: Dynamic Frame Avatar with Non-autoregressive Diffusion Framework for Talking Head Video Generation
• Title（参考訳）: DAWN:ヘッドビデオ生成のための非自己回帰拡散フレームワークを用いた動的フレームアバター
• Authors: Hanbo Cheng, Limin Lin, Chenyu Liu, Pengcheng Xia, Pengfei Hu, Jiefeng Ma, Jun Du, Jia Pan,
• Abstract要約: 本稿では,動的長大映像のオール・アット・オンス生成を可能にするフレームワークであるDAWNを提案する。 DAWNは,(1)潜在動作空間における音声駆動型顔力学生成,(2)音声駆動型頭部ポーズと点滅生成の2つの主要成分から構成される。 本手法は, 唇の動きを正確に表現し, 自然なポーズ・瞬き動作を特徴とする実写映像と鮮明な映像を生成する。
• 参考スコア（独自算出の注目度）: 50.66658181705527
• License:
• Abstract: Talking head generation intends to produce vivid and realistic talking head videos from a single portrait and speech audio clip. Although significant progress has been made in diffusion-based talking head generation, almost all methods rely on autoregressive strategies, which suffer from limited context utilization beyond the current generation step, error accumulation, and slower generation speed. To address these challenges, we present DAWN (Dynamic frame Avatar With Non-autoregressive diffusion), a framework that enables all-at-once generation of dynamic-length video sequences. Specifically, it consists of two main components: (1) audio-driven holistic facial dynamics generation in the latent motion space, and (2) audio-driven head pose and blink generation. Extensive experiments demonstrate that our method generates authentic and vivid videos with precise lip motions, and natural pose/blink movements. Additionally, with a high generation speed, DAWN possesses strong extrapolation capabilities, ensuring the stable production of high-quality long videos. These results highlight the considerable promise and potential impact of DAWN in the field of talking head video generation. Furthermore, we hope that DAWN sparks further exploration of non-autoregressive approaches in diffusion models. Our code will be publicly available at https://github.com/Hanbo-Cheng/DAWN-pytorch.
• Abstract（参考訳）: トーキングヘッド生成は、1つのポートレートと音声クリップから鮮明でリアルなトーキングヘッドビデオを生成することを目的としている。 拡散型音声ヘッド生成では大きな進歩があったが、ほとんどの手法は自己回帰戦略に依存しており、これは現在の生成ステップを超えてコンテキスト利用の制限、エラーの蓄積、生成速度の低下に悩まされている。 これらの課題に対処するために,動的長ビデオ列を一対一で生成するフレームワークであるDAWN(Dynamic frame Avatar with Non-autoregressive diffusion)を提案する。 具体的には、(1)潜在運動空間における音声駆動の全体的顔力学生成と(2)音声駆動の頭部ポーズと点滅生成の2つの主要成分から構成される。 広範にわたる実験により,本手法は正確な唇の動きと自然なポーズ・瞬き動作を持つ実写・鮮明な映像を生成することが示された。 さらに、DAWNは高速で強力な外挿機能を持ち、高品質な長編ビデオの安定な製作を保証している。 これらの結果は、音声ヘッドビデオ生成分野におけるDAWNのかなりの可能性と潜在的影響を浮き彫りにした。 さらに,DAWNが拡散モデルにおける非自己回帰的アプローチをさらに探究することを期待している。 私たちのコードはhttps://github.com/Hanbo-Cheng/DAWN-pytorch.comで公開されます。

関連論文リスト

• DiffTED: One-shot Audio-driven TED Talk Video Generation with Diffusion-based Co-speech Gestures [27.763304632981882]
  DiffTEDは、1つの画像から1ショットの音声駆動音声ビデオを生成する新しいアプローチである。 我々は拡散モデルを利用して、薄膜スプライン運動モデルのためのキーポイントのシーケンスを生成する。 実験により、DiffTEDは多様な音声のジェスチャーによる時間的コヒーレントな会話ビデオを生成することが示された。
  論文  参考訳（メタデータ） (2024-09-11T22:31:55Z)
• VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time [35.43018966749148]
  静止画像と音声音声クリップを1つずつ与えることで,視覚的情緒的スキル(VAS)をアピールするライフライクな発話顔を生成するためのフレームワークであるVASAを紹介した。 VASA-1は、音声と精巧に同期する唇の動きを発生させるだけでなく、顔のニュアンスや自然な頭部の動きを生じさせる。
  論文  参考訳（メタデータ） (2024-04-16T15:43:22Z)
• VividTalk: One-Shot Audio-Driven Talking Head Generation Based on 3D Hybrid Prior [28.737324182301652]
  高品質な音声ヘッドビデオを生成するための2段階の汎用フレームワークを提案する。 第1段階では、非剛性表現運動と剛性頭部運動を含む2つの動作を学習することにより、音声をメッシュにマッピングする。 第2段階では,メッシュを高密度な動きに変換し,高品質なビデオフレームをフレーム単位で合成する,デュアルブランチモーションベとジェネレータを提案する。
  論文  参考訳（メタデータ） (2023-12-04T12:25:37Z)
• FreeNoise: Tuning-Free Longer Video Diffusion via Noise Rescheduling [85.60543452539076]
  既存のビデオ生成モデルは、典型的には限られた数のフレームで訓練されており、推論中に高忠実度長ビデオを生成することができない。 本研究では,複数のテキストに条件付けされた長編ビデオを生成するためのテキスト駆動能力の拡張の可能性について検討する。 我々は,事前学習したビデオ拡散モデルの生成能力を高めるため,チューニング不要かつ時間効率のパラダイムであるFreeNoiseを提案する。
  論文  参考訳（メタデータ） (2023-10-23T17:59:58Z)
• GeneFace++: Generalized and Stable Real-Time Audio-Driven 3D Talking Face Generation [71.73912454164834]
  音声-リップ同期の汎用化, 画質の向上, システム効率の向上が期待できる。 NeRFは、数分間のトレーニングビデオで高忠実で3D一貫性のある会話顔生成を実現することができるため、この分野で一般的な技術となっている。 そこで我々は,これらの課題に対処するためにGeneFace++を提案し,ピッチの輪郭を補助的特徴として利用し,顔の動き予測プロセスに時間的損失を導入する。
  論文  参考訳（メタデータ） (2023-05-01T12:24:09Z)
• LaMD: Latent Motion Diffusion for Video Generation [69.4111397077229]
  LaMDフレームワークは、モーション分解されたビデオオートエンコーダと拡散に基づくモーションジェネレータで構成される。 その結果、LaMDはダイナミックスから高度に制御可能な動きに至るまで、幅広い動きを持つ高品質なビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2023-04-23T10:32:32Z)
• High-Fidelity and Freely Controllable Talking Head Video Generation [31.08828907637289]
  本稿では,頭部ポーズと表情を自由に制御できる高忠実な音声ヘッドビデオを生成する新しいモデルを提案する。 顔の歪みを伴わずに効果的に動きを伝達する動き認識機能アライメントモジュールを新たに導入する。 我々は,挑戦的データセットのモデルを評価し,その最先端性能を実証する。
  論文  参考訳（メタデータ） (2023-04-20T09:02:41Z)
• Diffused Heads: Diffusion Models Beat GANs on Talking-Face Generation [54.68893964373141]
  顔の生成は、これまで、追加の参照ビデオからのガイダンスなしで、頭の動きや自然な表情を作り出すのに苦労してきた。 拡散に基づく生成モデルの最近の発展は、より現実的で安定したデータ合成を可能にする。 本稿では,現実的な人間の頭部の映像を生成するために,1つのアイデンティティ画像と音声シーケンスのみを必要とする自己回帰拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-01-06T14:16:54Z)
• Generating Videos with Dynamics-aware Implicit Generative Adversarial Networks [68.93429034530077]
  ビデオ生成のための動的認識型暗黙的生成対向ネットワーク(DIGAN)を提案する。 従来の48フレームよりも80フレーム長の解像度128×128の128フレームビデオで,DIGANをトレーニングできることが示されている。
  論文  参考訳（メタデータ） (2022-02-21T23:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。