論文の概要: StyleLipSync: Style-based Personalized Lip-sync Video Generation
- arxiv url: http://arxiv.org/abs/2305.00521v2
- Date: Mon, 12 Feb 2024 07:17:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 01:03:56.031071
- Title: StyleLipSync: Style-based Personalized Lip-sync Video Generation
- Title（参考訳）: StyleLipSync:スタイルベースのパーソナライズされたリップ同期ビデオ生成
- Authors: Taekyung Ki and Dongchan Min
- Abstract要約: StyleLipSyncは、スタイルベースのパーソナライズされたリップ同期ビデオ生成モデルである。
我々のモデルはゼロショット設定でも正確なリップシンクビデオを生成することができる。
- 参考スコア（独自算出の注目度）: 2.9914612342004503
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we present StyleLipSync, a style-based personalized lip-sync
video generative model that can generate identity-agnostic lip-synchronizing
video from arbitrary audio. To generate a video of arbitrary identities, we
leverage expressive lip prior from the semantically rich latent space of a
pre-trained StyleGAN, where we can also design a video consistency with a
linear transformation. In contrast to the previous lip-sync methods, we
introduce pose-aware masking that dynamically locates the mask to improve the
naturalness over frames by utilizing a 3D parametric mesh predictor frame by
frame. Moreover, we propose a few-shot lip-sync adaptation method for an
arbitrary person by introducing a sync regularizer that preserves lip-sync
generalization while enhancing the person-specific visual information.
Extensive experiments demonstrate that our model can generate accurate lip-sync
videos even with the zero-shot setting and enhance characteristics of an unseen
face using a few seconds of target video through the proposed adaptation
method.
- Abstract（参考訳）: 本稿では,スタイルベースでパーソナライズされたリップ同期ビデオ生成モデルであるStyleLipSyncを提案する。
任意のアイデンティティの動画を生成するために,事前学習したStyleGANのセマンティックにリッチな潜伏空間から先行して表現的リップを利用して,線形変換による映像の一貫性を設計する。
従来のリップシンク法とは対照的に,3次元パラメトリックメッシュ予測フレームをフレーム単位で利用することにより,マスクを動的に位置決めし,フレーム上の自然性を改善するポーズアウェアマスクを導入する。
さらに,人間特有の視覚情報を高めつつ,リップシンクの一般化を保った同期調整器を導入することにより,任意の人物に対して数ショットのリップシンク適応手法を提案する。
広汎な実験により,提案手法により,ゼロショット設定でも正確なリップシンク映像を生成でき,数秒の目標映像を用いて顔の特徴を向上できることが示された。
関連論文リスト
- MuseTalk: Real-Time High Quality Lip Synchronization with Latent Space Inpainting [12.852715177163608]
MuseTalkは、変分オートエンコーダによって符号化された潜時空間でリップシンクターゲットを生成する。
オンラインのフェース生成をサポートする。256x256で30 FPS以上で、起動遅延は無視できる。
論文 参考訳（メタデータ） (2024-10-14T03:22:26Z) - High-fidelity and Lip-synced Talking Face Synthesis via Landmark-based Diffusion Model [89.29655924125461]
本稿では,発話顔生成のためのランドマークに基づく新しい拡散モデルを提案する。
まず、音声から唇と顎の目印運動への不明瞭さの少ないマッピングを確立する。
そこで我々はTalkFormerと呼ばれる革新的な条件付けモジュールを導入し、合成された動きをランドマークで表現された動きと整合させる。
論文 参考訳（メタデータ） (2024-08-10T02:58:28Z) - Style-Preserving Lip Sync via Audio-Aware Style Reference [88.02195932723744]
個人は、個人の独特の話し方に起因して、同じ発話をするときに異なる唇の形を示す。
入力音声に対応する唇の動きを予測できる高度なトランスフォーマーモデルを開発し, スタイル参照ビデオから, クロスアテンション層に集約されたスタイル情報によって拡張する。
提案手法の有効性を検証し, 正確な唇のシンク, 発話スタイルの保存, 高忠実でリアルな話し声ビデオの生成に有効であることを示す。
論文 参考訳（メタデータ） (2024-08-10T02:46:11Z) - ReSyncer: Rewiring Style-based Generator for Unified Audio-Visually Synced Facial Performer [87.32518573172631]
ReSyncerは運動と外観を統合トレーニングで融合する。
パーソナライズされたパーソナライズされた微調整、ビデオ駆動のリップシンク、話すスタイルの転送、顔交換までサポートしています。
論文 参考訳（メタデータ） (2024-08-06T16:31:45Z) - GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained
3D Face Guidance [83.43852715997596]
GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。
スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。
定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
論文 参考訳（メタデータ） (2023-12-12T16:00:55Z) - Identity-Preserving Talking Face Generation with Landmark and Appearance
Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。
本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。
提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文 参考訳（メタデータ） (2023-05-15T01:31:32Z) - StyleSync: High-Fidelity Generalized and Personalized Lip Sync in
Style-based Generator [85.40502725367506]
高忠実度唇同期を実現する効果的なフレームワークであるStyleSyncを提案する。
具体的には、所定の顔の詳細を保存したマスク誘導空間情報符号化モジュールを設計する。
また,限られたフレームのみにスタイル空間とジェネレータの改良を導入することで,パーソナライズされたリップシンクを実現する。
論文 参考訳（メタデータ） (2023-05-09T13:38:13Z) - VideoReTalking: Audio-based Lip Synchronization for Talking Head Video
Editing In the Wild [37.93856291026653]
VideoReTalkingは、現実世界のトーキングヘッドビデオの顔を入力音声で編集する新しいシステムである。
感情が違う場合でも、高品質でリップシンクの出力ビデオを生成する。
論文 参考訳（メタデータ） (2022-11-27T08:14:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。