論文の概要: OmniSync: Towards Universal Lip Synchronization via Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2505.21448v1
• Date: Tue, 27 May 2025 17:20:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.826203
• Title: OmniSync: Towards Universal Lip Synchronization via Diffusion Transformers
• Title（参考訳）: OmniSync: 拡散変換器によるユニバーサルリップ同期を目指して
• Authors: Ziqiao Peng, Jiwen Liu, Haoxian Zhang, Xiaoqiang Liu, Songlin Tang, Pengfei Wan, Di Zhang, Hongyan Liu, Jun He,
• Abstract要約: 我々は,多様な視覚シナリオを対象とした共通唇同期フレームワークであるOmniSyncを紹介する。 提案手法では,Diffusion Transformerモデルを用いたマスクのないトレーニングパラダイムを導入し,マスクを明示せずに直接フレーム編集を行う。 AI生成ビデオにおけるリップシンクのための最初の評価スイートであるAICLipSync Benchmarkも確立した。
• 参考スコア（独自算出の注目度）: 13.623360048766603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lip synchronization is the task of aligning a speaker's lip movements in video with corresponding speech audio, and it is essential for creating realistic, expressive video content. However, existing methods often rely on reference frames and masked-frame inpainting, which limit their robustness to identity consistency, pose variations, facial occlusions, and stylized content. In addition, since audio signals provide weaker conditioning than visual cues, lip shape leakage from the original video will affect lip sync quality. In this paper, we present OmniSync, a universal lip synchronization framework for diverse visual scenarios. Our approach introduces a mask-free training paradigm using Diffusion Transformer models for direct frame editing without explicit masks, enabling unlimited-duration inference while maintaining natural facial dynamics and preserving character identity. During inference, we propose a flow-matching-based progressive noise initialization to ensure pose and identity consistency, while allowing precise mouth-region editing. To address the weak conditioning signal of audio, we develop a Dynamic Spatiotemporal Classifier-Free Guidance (DS-CFG) mechanism that adaptively adjusts guidance strength over time and space. We also establish the AIGC-LipSync Benchmark, the first evaluation suite for lip synchronization in diverse AI-generated videos. Extensive experiments demonstrate that OmniSync significantly outperforms prior methods in both visual quality and lip sync accuracy, achieving superior results in both real-world and AI-generated videos.
• Abstract（参考訳）: 唇同期は,映像中の唇の動きを対応する音声と整列させる作業であり,リアルで表現力のある映像コンテンツを作成するためには不可欠である。 しかし、既存の手法はしばしば参照フレームとマスクフレームの塗装に依存しており、その堅牢性はアイデンティティの整合性、ポーズのバリエーション、顔の隠蔽、スタイル化された内容に制限される。 さらに、音声信号は視覚的手がかりよりもコンディショニングが弱いため、オリジナルビデオからの唇形状の漏れは、リップシンクの品質に影響を及ぼす。 本稿では,多様な視覚シナリオを対象とした共通唇同期フレームワークであるOmniSyncについて述べる。 提案手法では,Diffusion Transformerモデルを用いたマスクのないトレーニングパラダイムを導入し,自然な顔力学を維持し,文字識別を保ちながら,マスクを明示せずに直接フレーム編集を行う。 そこで本研究では,フローマッチングに基づくプログレッシブノイズ初期化手法を提案し,ポーズとアイデンティティの整合性を確保するとともに,正確な口領域編集を可能にする。 音声の弱条件信号に対処するため,時間と空間による誘導強度を適応的に調整する動的時空間分類器フリーガイダンス(DS-CFG)機構を開発した。 AIGC-LipSync Benchmarkは、さまざまなAI生成ビデオにおける唇同期のための最初の評価スイートである。 大規模な実験により、OmniSyncは、視覚的品質とリップシンクの精度の両方において、従来の方法よりも大幅に優れており、実世界のビデオとAI生成ビデオの両方において、優れた結果が得られている。

関連論文リスト

• SayAnything: Audio-Driven Lip Synchronization with Conditional Video Diffusion [78.77211425667542]
  SayAnythingは、オーディオ入力から唇の動きを直接合成する条件付きビデオ拡散フレームワークである。 我々の新しい設計は、潜在空間における異なる条件信号のバランスを効果的に保ち、外観、動き、地域固有の生成を正確に制御できる。
  論文  参考訳（メタデータ） (2025-02-17T07:29:36Z)
• Style-Preserving Lip Sync via Audio-Aware Style Reference [88.02195932723744]
  個人は、個人の独特の話し方に起因して、同じ発話をするときに異なる唇の形を示す。 入力音声に対応する唇の動きを予測できる高度なトランスフォーマーモデルを開発し, スタイル参照ビデオから, クロスアテンション層に集約されたスタイル情報によって拡張する。 提案手法の有効性を検証し, 正確な唇のシンク, 発話スタイルの保存, 高忠実でリアルな話し声ビデオの生成に有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-10T02:46:11Z)
• ReSyncer: Rewiring Style-based Generator for Unified Audio-Visually Synced Facial Performer [87.32518573172631]
  ReSyncerは運動と外観を統合トレーニングで融合する。 パーソナライズされたパーソナライズされた微調整、ビデオ駆動のリップシンク、話すスタイルの転送、顔交換までサポートしています。
  論文  参考訳（メタデータ） (2024-08-06T16:31:45Z)
• Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation [29.87407471246318]
  この研究は、顔の動きを同期させ、視覚的に魅力的で時間的に一貫したアニメーションを作成する複雑さを掘り下げている。 我々の革新的なアプローチは、エンドツーエンドの拡散パラダイムを採用し、階層的な音声駆動視覚合成モジュールを導入しています。 提案した階層型音声駆動視覚合成は、表現の適応的な制御と多様性のポーズを提供し、異なるアイデンティティに合わせてより効果的なパーソナライゼーションを可能にする。
  論文  参考訳（メタデータ） (2024-06-13T04:33:20Z)
• OpFlowTalker: Realistic and Natural Talking Face Generation via Optical Flow Guidance [13.050998759819933]
  OpFlowTalkerは、直接画像予測ではなく、音声入力から予測される光フロー変化を利用する新しい手法である。 画像の遷移を円滑にし、変更をセマンティックコンテンツと整合させる。 また,全顔と唇の動きを調節する光フロー同期モジュールを開発した。
  論文  参考訳（メタデータ） (2024-05-23T15:42:34Z)
• SwapTalk: Audio-Driven Talking Face Generation with One-Shot Customization in Latent Space [13.59798532129008]
  我々は,同じ潜在空間における顔交換と唇同期の両タスクを実現する,革新的な統一フレームワークSwapTalkを提案する。 生成した顔ビデオの時系列上でのアイデンティティ一貫性をより包括的に評価するための新しいアイデンティティ一貫性指標を提案する。 HDTF実験の結果,ビデオ品質,リップ同期精度,顔スワップの忠実度,アイデンティティの整合性など,既存の手法をはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-09T09:22:09Z)
• Audio-driven Talking Face Generation with Stabilized Synchronization Loss [60.01529422759644]
  トーキング・フェイスジェネレーションは、正確な唇の同期と高い視覚的品質でリアルなビデオを作成することを目的としている。 まずサイレント・リップ・ジェネレータを導入することでリップリーク問題に対処する。 実験の結果,我々のモデルは視覚的品質と唇の同期の両方において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-18T15:50:04Z)
• StyleLipSync: Style-based Personalized Lip-sync Video Generation [2.9914612342004503]
  StyleLipSyncは、スタイルベースのパーソナライズされたリップ同期ビデオ生成モデルである。 我々のモデルはゼロショット設定でも正確なリップシンクビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-04-30T16:38:42Z)
• StyleTalker: One-shot Style-based Audio-driven Talking Head Video Generation [47.06075725469252]
  StyleTalkerは音声駆動のトーキングヘッド生成モデルである。 単一の参照画像から話し手の映像を合成することができる。 我々のモデルは、音声ヘッドビデオを印象的な品質で合成することができる。
  論文  参考訳（メタデータ） (2022-08-23T12:49:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。