論文の概要: ComplexSync: High-Fidelity and Real-Time Lip Sync in Complex Scenarios
- arxiv url: http://arxiv.org/abs/2609.29225v1
- Date: Thu, 24 Sep 2026 08:33:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.793859
- Title: ComplexSync: High-Fidelity and Real-Time Lip Sync in Complex Scenarios
- Title（参考訳）: ComplexSync: 複雑なシナリオにおける高忠実でリアルタイムなリップシンク
- Abstract要約: リップ同期は、音声と正確に一致した視覚的なリップダイナミックスを生成することを目的としている。
拡散モデルの高世代品質にもかかわらず、複雑なシナリオに苦しむことが多く、推論遅延の禁止に悩まされる。
我々は,リアルタイムかつ高忠実なリップシンクを可能にする統合拡散ベースのフレームワークであるComplexSyncを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lip synchronization aims to generate visual lip dynamics that align precisely with speech audio. Despite the high generation quality of diffusion models, they often struggle in complex scenarios and suffer from prohibitive inference latency, limiting real-world deployment. We present ComplexSync, a unified diffusion-based framework that enables real-time, high-fidelity lip sync under complex conditions. First, we introduce a dual-stream joint training strategy to mitigate information leakage from reference frames while preserving natural dynamics. Second, we develop a distillation-based acceleration scheme for single-step denoising, achieving a throughput of over 70 FPS. Third, we propose a relational alignment loss that leverages structural priors from Vision Foundation Models (VFMs) to enhance robustness against complex scene factors. Furthermore, we present the first benchmark specifically designed for complex lip synchronization, comprising over 200 challenging video sequences and specialized metrics. Extensive experiments demonstrate that ComplexSync achieves state-of-the-art performance across both standard and complex scenarios while enabling real-time inference.
- Abstract（参考訳）: リップ同期は、音声と正確に一致した視覚的なリップダイナミックスを生成することを目的としている。
拡散モデルの高品質さにもかかわらず、複雑なシナリオに苦しむことが多く、推論の遅延が禁止され、現実のデプロイメントが制限される。
複雑な条件下でのリアルタイムかつ高忠実なリップシンクを可能にする統合拡散ベースフレームワークであるComplexSyncを提案する。
まず,参照フレームからの情報漏洩を軽減し,自然なダイナミクスを保ちながら,双方向のジョイントトレーニング戦略を導入する。
第2に,70FPS以上のスループットを実現するため,蒸留法に基づく単段脱臭促進法を開発した。
第3に、複雑なシーン要因に対するロバスト性を高めるために、VFM(Vision Foundation Models)の構造的先行性を活用するリレーショナルアライメント損失を提案する。
さらに,200以上の挑戦的なビデオシーケンスと特殊なメトリクスを含む,複雑な唇の同期を特化して設計された最初のベンチマークを示す。
大規模な実験により、ComplexSyncは、リアルタイム推論を可能にしながら、標準シナリオと複雑なシナリオの両方にわたる最先端のパフォーマンスを実現する。
関連論文リスト
- HighSync: High-Quality Lip Synchronization via Latent Diffusion Models [0.0]
HighSyncは、高忠実度リップシンクのためのエンドツーエンドの拡散ベースのフレームワークである。
512*512の解像度で動作する最初のリップシンクモデルであり、プロのプロダクション環境で実行可能なソリューションとして位置づけられている。
論文 参考訳（メタデータ） (2026-05-16T10:20:52Z) - From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation [54.68405211129937]
Exo-Seqto-Egoビデオ生成は、同期された3人称と対応するカメラポーズから1人称ビューを合成することを目的としている。
同期されたExo-egoデータは本質的に時間的不連続を導入し、標準ビデオ生成ベンチマークのスムーズな動作仮定に違反する。
我々は、ソースとターゲットビデオの間に補間して単一の連続信号を形成するシーケンシャルシーケンスモデルであるSyn2Ex-Forcingを提案する。
論文 参考訳（メタデータ） (2026-04-15T12:32:25Z) - CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing [76.74048814837336]
映画ダビングは、ターゲット映像中の唇の動きと同期しながら、参照音声の音声アイデンティティを保持する音声を合成することを目的としている。
既存の方法は正確なリップシンクを達成できず、持続時間レベルでの明示的なアライメントによって自然性を欠いている。
認知同期拡散変換器(CoSync-DiT)により駆動される新しいフローマッチング型フィルムダビングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-14T05:03:57Z) - OSDEnhancer: Taming Real-World Space-Time Video Super-Resolution with One-Step Diffusion [64.10689934231165]
ビデオスーパーレゾリューションモデル(DM)は、ビデオスーパーレゾリューション(VSR)において極めて成功している。
時空ビデオスーパーレゾリューション(STVSR)の可能性は、低解像度から高解像度までのリアルな視覚コンテンツを回復する必要があるが、コヒーレントなダイナミックスでフレームレートを改善する必要がある。
提案するOSDEnhancerは,効率的なワンステップ拡散プロセスにより,実世界のSTVSRを初期化するための最初の手法である。
実験により,提案手法は実世界のシナリオにおいて優れた性能を維持しつつ,最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2026-01-28T06:59:55Z) - Harmony: Harmonizing Audio and Video Generation through Cross-Task Synergy [39.04292189640444]
Harmonyは、機械的に音声と視覚の同期を強制する新しいフレームワークである。
それは新しい最先端技術を確立し、生成忠実度と重要な点の両方において既存の方法よりもはるかに優れており、きめ細かいオーディオと視覚の同期を実現している。
論文 参考訳（メタデータ） (2025-11-26T16:53:05Z) - MirrorMe: Towards Realtime and High Fidelity Audio-Driven Halfbody Animation [21.216297567167036]
MirrorMeは、LTXビデオモデル上に構築されたリアルタイムで制御可能なフレームワークである。
MirrorMeは映像を空間的に時間的に圧縮し、効率的な遅延空間をデノイングする。
EMTDベンチマークの実験では、MirrorMeの忠実さ、リップシンク精度、時間的安定性が実証されている。
論文 参考訳（メタデータ） (2025-06-27T09:57:23Z) - AsynFusion: Towards Asynchronous Latent Consistency Models for Decoupled Whole-Body Audio-Driven Avatars [71.90109867684025]
全体オーディオ駆動型アバターポーズと表現生成は、生命に似たデジタル人間を作るための重要なタスクである。
本稿では,拡散変換器を応用し,結合表現とジェスチャ合成を実現する新しいフレームワークAsynFusionを提案する。
AsynFusionは、リアルタイムで同期された全身アニメーションを生成する際に最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-21T03:28:53Z) - LatentSync: Taming Audio-Conditioned Latent Diffusion Models for Lip Sync with SyncNet Supervision [13.447234794835921]
安定収束のために設計されたアーキテクチャを備えたStableSyncNetを紹介する。
提案手法は,HDTFおよびVoxCeleb2データセット上での様々な評価指標にまたがって,最先端のリップシンクアプローチを超越する。
論文 参考訳（メタデータ） (2024-12-12T13:20:52Z) - Low-Light Video Enhancement via Spatial-Temporal Consistent Decomposition [52.89441679581216]
低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的または静的なシーンの復元を目指している。
本稿では、ビューに依存しない、ビューに依存しないコンポーネントを組み込んだ革新的なビデオ分解戦略を提案する。
我々のフレームワークは、既存のメソッドを一貫して上回り、新しいSOTAパフォーマンスを確立します。
論文 参考訳（メタデータ） (2024-05-24T15:56:40Z) - Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World
Video Super-Resolution [65.91317390645163]
Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。
ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。
また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
論文 参考訳（メタデータ） (2023-12-11T18:54:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。