論文の概要: Style-Preserving Lip Sync via Audio-Aware Style Reference

• arxiv url: http://arxiv.org/abs/2408.05412v1
• Date: Sat, 10 Aug 2024 02:46:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 19:11:07.039208
• Title: Style-Preserving Lip Sync via Audio-Aware Style Reference
• Title（参考訳）: オーディオ認識スタイル参照によるリップシンクのスタイル保存
• Authors: Weizhi Zhong, Jichang Li, Yinqi Cai, Liang Lin, Guanbin Li,
• Abstract要約: 個人は、個人の独特の話し方に起因して、同じ発話をするときに異なる唇の形を示す。 入力音声に対応する唇の動きを予測できる高度なトランスフォーマーモデルを開発し, スタイル参照ビデオから, クロスアテンション層に集約されたスタイル情報によって拡張する。 提案手法の有効性を検証し, 正確な唇のシンク, 発話スタイルの保存, 高忠実でリアルな話し声ビデオの生成に有効であることを示す。
• 参考スコア（独自算出の注目度）: 88.02195932723744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-driven lip sync has recently drawn significant attention due to its widespread application in the multimedia domain. Individuals exhibit distinct lip shapes when speaking the same utterance, attributed to the unique speaking styles of individuals, posing a notable challenge for audio-driven lip sync. Earlier methods for such task often bypassed the modeling of personalized speaking styles, resulting in sub-optimal lip sync conforming to the general styles. Recent lip sync techniques attempt to guide the lip sync for arbitrary audio by aggregating information from a style reference video, yet they can not preserve the speaking styles well due to their inaccuracy in style aggregation. This work proposes an innovative audio-aware style reference scheme that effectively leverages the relationships between input audio and reference audio from style reference video to address the style-preserving audio-driven lip sync. Specifically, we first develop an advanced Transformer-based model adept at predicting lip motion corresponding to the input audio, augmented by the style information aggregated through cross-attention layers from style reference video. Afterwards, to better render the lip motion into realistic talking face video, we devise a conditional latent diffusion model, integrating lip motion through modulated convolutional layers and fusing reference facial images via spatial cross-attention layers. Extensive experiments validate the efficacy of the proposed approach in achieving precise lip sync, preserving speaking styles, and generating high-fidelity, realistic talking face videos.
• Abstract（参考訳）: オーディオ駆動型リップシンクは、マルチメディア領域に広く応用されているため、近年注目されている。 個人が同じ発話をする際に異なる唇の形を示すが、これは個人の独特の話し方によるもので、音声駆動の唇シンクでは顕著な課題である。 このようなタスクの以前の手法は、パーソナライズされた話し方スタイルのモデリングを回避し、その結果、一般的なスタイルに適合するサブ最適リップシンクが生じることが多かった。 最近のリップシンク技術は、スタイル参照ビデオから情報を集約することで、任意のオーディオのためのリップシンクを誘導しようとするが、スタイルアグリゲーションにおける不正確さのため、発話スタイルを十分に保存することはできない。 本研究は,入力音声とスタイル参照ビデオからの参照音声の関係を効果的に活用して,スタイル保存型オーディオ駆動リップシンクに対処する,革新的なオーディオ認識スタイル参照スキームを提案する。 具体的には、まず、入力音声に対応する唇の動きを予測するための高度なトランスフォーマーベースモデルを開発し、スタイル参照ビデオから、クロスアテンション層を介して集約されたスタイル情報によって拡張する。 その後, 口唇の動きをよりリアルな話し顔映像に表現するために, 条件付き潜伏拡散モデル, 変調畳み込み層による唇の動きの統合, 空間的クロスアテンション層による参照顔画像の融合を考案した。 広汎な実験により, 提案手法の有効性を検証し, 正確な唇のシンク, 発話スタイルの保存, 高忠実でリアルな話し声ビデオの生成を行った。

関連論文リスト

• High-fidelity and Lip-synced Talking Face Synthesis via Landmark-based Diffusion Model [89.29655924125461]
  本稿では,発話顔生成のためのランドマークに基づく新しい拡散モデルを提案する。 まず、音声から唇と顎の目印運動への不明瞭さの少ないマッピングを確立する。 そこで我々はTalkFormerと呼ばれる革新的な条件付けモジュールを導入し、合成された動きをランドマークで表現された動きと整合させる。
  論文  参考訳（メタデータ） (2024-08-10T02:58:28Z)
• ReSyncer: Rewiring Style-based Generator for Unified Audio-Visually Synced Facial Performer [87.32518573172631]
  ReSyncerは運動と外観を統合トレーニングで融合する。 パーソナライズされたパーソナライズされた微調整、ビデオ駆動のリップシンク、話すスタイルの転送、顔交換までサポートしています。
  論文  参考訳（メタデータ） (2024-08-06T16:31:45Z)
• Speech2Lip: High-fidelity Speech to Lip Generation by Learning from a Short Video [91.92782707888618]
  本稿では,音声の知覚と音声の知覚を両立させるSpeech2Lip(Speech2Lip)という分解合成フレームワークを提案する。 提案手法は,数分間のビデオで学習し,視覚的品質と音声・視覚的同期の両面において最先端のパフォーマンスを達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-09T14:52:39Z)
• Exploring Phonetic Context-Aware Lip-Sync For Talking Face Generation [58.72068260933836]
  コンテキスト対応LipSync-フレームワーク(CALS) CALSはAudio-to-LipマップモジュールとLip-to-Faceモジュールで構成されている。
  論文  参考訳（メタデータ） (2023-05-31T04:50:32Z)
• StyleSync: High-Fidelity Generalized and Personalized Lip Sync in Style-based Generator [85.40502725367506]
  高忠実度唇同期を実現する効果的なフレームワークであるStyleSyncを提案する。 具体的には、所定の顔の詳細を保存したマスク誘導空間情報符号化モジュールを設計する。 また,限られたフレームのみにスタイル空間とジェネレータの改良を導入することで,パーソナライズされたリップシンクを実現する。
  論文  参考訳（メタデータ） (2023-05-09T13:38:13Z)
• StyleLipSync: Style-based Personalized Lip-sync Video Generation [2.9914612342004503]
  StyleLipSyncは、スタイルベースのパーソナライズされたリップ同期ビデオ生成モデルである。 我々のモデルはゼロショット設定でも正確なリップシンクビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-04-30T16:38:42Z)
• SyncTalkFace: Talking Face Generation with Precise Lip-Syncing via Audio-Lip Memory [27.255990661166614]
  音声から顔を生成することの課題は、口領域が入力された音声に対応するように、音声とビデオの2つの異なるモーダル情報を調整することである。 従来の手法では、オーディオ視覚表現学習を利用するか、ランドマークや3Dモデルのような中間構造情報を利用する。 本稿では,入力音声に対応する口領域の視覚情報を提供し,きめ細かな視覚的コヒーレンスを実現するオーディオ-リップメモリを提案する。
  論文  参考訳（メタデータ） (2022-11-02T07:17:49Z)
• StyleTalker: One-shot Style-based Audio-driven Talking Head Video Generation [47.06075725469252]
  StyleTalkerは音声駆動のトーキングヘッド生成モデルである。 単一の参照画像から話し手の映像を合成することができる。 我々のモデルは、音声ヘッドビデオを印象的な品質で合成することができる。
  論文  参考訳（メタデータ） (2022-08-23T12:49:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。