論文の概要: ReSyncer: Rewiring Style-based Generator for Unified Audio-Visually Synced Facial Performer
- arxiv url: http://arxiv.org/abs/2408.03284v1
- Date: Tue, 6 Aug 2024 16:31:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 13:38:12.010662
- Title: ReSyncer: Rewiring Style-based Generator for Unified Audio-Visually Synced Facial Performer
- Title（参考訳）: ReSyncer:Unified Audio-Visually Synced Facial Performer用のスタイルベースジェネレータ
- Authors: Jiazhi Guan, Zhiliang Xu, Hang Zhou, Kaisiyuan Wang, Shengyi He, Zhanwang Zhang, Borong Liang, Haocheng Feng, Errui Ding, Jingtuo Liu, Jingdong Wang, Youjian Zhao, Ziwei Liu,
- Abstract要約: ReSyncerは運動と外観を統合トレーニングで融合する。
パーソナライズされたパーソナライズされた微調整、ビデオ駆動のリップシンク、話すスタイルの転送、顔交換までサポートしています。
- 参考スコア（独自算出の注目度）: 87.32518573172631
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lip-syncing videos with given audio is the foundation for various applications including the creation of virtual presenters or performers. While recent studies explore high-fidelity lip-sync with different techniques, their task-orientated models either require long-term videos for clip-specific training or retain visible artifacts. In this paper, we propose a unified and effective framework ReSyncer, that synchronizes generalized audio-visual facial information. The key design is revisiting and rewiring the Style-based generator to efficiently adopt 3D facial dynamics predicted by a principled style-injected Transformer. By simply re-configuring the information insertion mechanisms within the noise and style space, our framework fuses motion and appearance with unified training. Extensive experiments demonstrate that ReSyncer not only produces high-fidelity lip-synced videos according to audio, but also supports multiple appealing properties that are suitable for creating virtual presenters and performers, including fast personalized fine-tuning, video-driven lip-syncing, the transfer of speaking styles, and even face swapping. Resources can be found at https://guanjz20.github.io/projects/ReSyncer.
- Abstract（参考訳）: 任意のオーディオによるリップシンクビデオは、仮想プレゼンターやパフォーマーの作成を含む様々なアプリケーションの基盤となっている。
最近の研究では、異なるテクニックで高忠実度リップシンクを探索しているが、彼らのタスク指向モデルは、クリップ固有のトレーニングのために長期的なビデオを必要とするか、目に見えるアーティファクトを保持する必要がある。
本稿では、一般化された視覚的顔情報と同期する統合的で効果的なフレームワークReSyncerを提案する。
鍵となる設計は、スタイルベースのジェネレータを再訪して、原則付きスタイル注入トランスフォーマーによって予測される3D顔力学を効率的に採用することである。
ノイズとスタイル空間内の情報挿入機構を再構成するだけで、我々のフレームワークは運動と外観を統一的なトレーニングで融合させる。
大規模な実験により、ReSyncerは音声による高忠実度リップシンク動画を生成するだけでなく、高速なパーソナライズされた微調整、ビデオドリブンのリップシンク、話し言葉のスタイルの転送、顔交換など、仮想プレゼンターやパフォーマーを作成するのに適した複数の魅力的な特性もサポートしている。
リソースはhttps://guanjz20.github.io/projects/ReSyncerにある。
関連論文リスト
- Style-Preserving Lip Sync via Audio-Aware Style Reference [88.02195932723744]
個人は、個人の独特の話し方に起因して、同じ発話をするときに異なる唇の形を示す。
入力音声に対応する唇の動きを予測できる高度なトランスフォーマーモデルを開発し, スタイル参照ビデオから, クロスアテンション層に集約されたスタイル情報によって拡張する。
提案手法の有効性を検証し, 正確な唇のシンク, 発話スタイルの保存, 高忠実でリアルな話し声ビデオの生成に有効であることを示す。
論文 参考訳（メタデータ） (2024-08-10T02:46:11Z) - SwapTalk: Audio-Driven Talking Face Generation with One-Shot Customization in Latent Space [13.59798532129008]
我々は,同じ潜在空間における顔交換と唇同期の両タスクを実現する,革新的な統一フレームワークSwapTalkを提案する。
生成した顔ビデオの時系列上でのアイデンティティ一貫性をより包括的に評価するための新しいアイデンティティ一貫性指標を提案する。
HDTF実験の結果,ビデオ品質,リップ同期精度,顔スワップの忠実度,アイデンティティの整合性など,既存の手法をはるかに上回っていることがわかった。
論文 参考訳（メタデータ） (2024-05-09T09:22:09Z) - Synchformer: Efficient Synchronization from Sparse Cues [100.89656994681934]
コントリビューションには、新しい音声-視覚同期モデル、同期モデルからの抽出を分離するトレーニングが含まれる。
このアプローチは、濃密な設定とスパース設定の両方において最先端の性能を実現する。
また,100万スケールの 'in-the-wild' データセットに同期モデルのトレーニングを拡張し,解釈可能性に対するエビデンス属性技術を調査し,同期モデルの新たな機能であるオーディオ-視覚同期性について検討する。
論文 参考訳（メタデータ） (2024-01-29T18:59:55Z) - Audio-driven Talking Face Generation with Stabilized Synchronization Loss [60.01529422759644]
トーキング・フェイスジェネレーションは、正確な唇の同期と高い視覚的品質でリアルなビデオを作成することを目的としている。
まずサイレント・リップ・ジェネレータを導入することでリップリーク問題に対処する。
実験の結果,我々のモデルは視覚的品質と唇の同期の両方において最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-18T15:50:04Z) - StyleSync: High-Fidelity Generalized and Personalized Lip Sync in
Style-based Generator [85.40502725367506]
高忠実度唇同期を実現する効果的なフレームワークであるStyleSyncを提案する。
具体的には、所定の顔の詳細を保存したマスク誘導空間情報符号化モジュールを設計する。
また,限られたフレームのみにスタイル空間とジェネレータの改良を導入することで,パーソナライズされたリップシンクを実現する。
論文 参考訳（メタデータ） (2023-05-09T13:38:13Z) - StyleLipSync: Style-based Personalized Lip-sync Video Generation [2.9914612342004503]
StyleLipSyncは、スタイルベースのパーソナライズされたリップ同期ビデオ生成モデルである。
我々のモデルはゼロショット設定でも正確なリップシンクビデオを生成することができる。
論文 参考訳（メタデータ） (2023-04-30T16:38:42Z) - StyleTalker: One-shot Style-based Audio-driven Talking Head Video Generation [47.06075725469252]
StyleTalkerは音声駆動のトーキングヘッド生成モデルである。
単一の参照画像から話し手の映像を合成することができる。
我々のモデルは、音声ヘッドビデオを印象的な品質で合成することができる。
論文 参考訳（メタデータ） (2022-08-23T12:49:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。