論文の概要: EfficientSync: Real-Time Lip Synchronization via Deformation-Based Reference Texture Mixing

• arxiv url: http://arxiv.org/abs/2608.18832v1
• Date: Wed, 19 Aug 2026 11:49:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.385184
• Title: EfficientSync: Real-Time Lip Synchronization via Deformation-Based Reference Texture Mixing
• Title（参考訳）: EfficientSync:変形に基づく参照テクスチャ混合によるリアルタイムリップ同期
• Abstract要約: 提案するEfficientSyncは, 参照テクスチャを合成するのではなく, リアルタイムな変形ベースのフレームワークである。 HDTFとVFHQの実験では、1つのGPU上で166FPSで最先端の視覚的品質とアイデンティティの保存が示されている。
• 参考スコア（独自算出の注目度）: 27.339264900758693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-driven lip synchronization manipulates the mouth region of a talking-face video to match the driving audio while preserving head pose, identity, and background. Although the task is inherently local editing, prevailing approaches reconstruct the entire lower face with heavy GAN- or diffusion-based decoders, incurring substantial latency and, more critically, hallucinating intra-oral details such as teeth and lip wrinkles instead of preserving authentic textures. We contend that the bottleneck in identity preservation is not the scarcity of reference frames, but the lack of a mechanism that faithfully transfers the genuine textures they already contain. We therefore present EfficientSync, a real-time deformation-based framework that retains reference textures rather than resynthesizing them. First, the Dynamic Texture Mixer reformulates multi-reference fusion as channel-wise selection, evaluating each spatially aligned reference in a global context and aggregating them by channel-wise weighted summation, preserving textural integrity at low cost. Second, Spatio-Temporal Shifted Adaptive Masking decomposes the source frame into lip-generation conditions and an independent background prior, suppressing lower-face leakage while blending the synthesized mouth seamlessly into the background. Third, STAR Sampling, a zero-overhead pre-processing step, retrieves the sharpest and most topologically diverse reference frames. Experiments on HDTF and VFHQ show state-of-the-art visual quality and identity preservation at 166 FPS on a single GPU. Video demos: https://alunaticat.github.io/EfficientSync/index.html.
• Abstract（参考訳）: 音声駆動の唇同期は、頭部のポーズ、アイデンティティ、背景を保ちながら、運転音声と一致するように、音声対面ビデオの口領域を操作する。 このタスクは本質的に局所的な編集であるが、一般的なアプローチでは、実際のテクスチャを保存せず、歯や唇のしわなどの口腔内詳細を幻覚させるため、重いGANまたは拡散ベースのデコーダで下面全体を再構築する。 アイデンティティ保存のボトルネックは参照フレームの不足ではなく、既存のテクスチャを忠実に転送するメカニズムの欠如である、と我々は主張する。 そこで我々は, 参照テクスチャを保持するリアルタイムな変形ベースのフレームワークであるEfficientSyncを提案する。 まず、動的テクスチャミキサーは、マルチ参照融合をチャネルワイドな選択として再構成し、グローバルな文脈における各空間的に整列した参照を評価し、それらをチャネルワイドな和で集約し、低コストでテクスチャの整合性を保つ。 第2に、時空間シフト適応マスキングは、ソースフレームをリップ生成条件と独立背景に分解し、合成された口を背景にシームレスにブレンドしながら、下面の漏れを抑制する。 第3に、ゼロオーバーヘッド前処理ステップであるSTARサンプリングは、最もシャープで最もトポロジ的に多様な参照フレームを取得する。 HDTFとVFHQの実験では、1つのGPU上で166FPSで最先端の視覚的品質とアイデンティティの保存が示されている。 ビデオデモ: https://alunaticat.github.io/EfficientSync/index.html

関連論文リスト

• Compositional Video Generation via Inference-Time Guidance [69.53614395025632]
  テキストからビデオへの拡散モデルは、しばしば構成的理解を必要とするプロンプトで失敗する。 凍結したテキスト・ビデオモデルにおける合成忠実度を改善するための推定時間誘導法であるtextbfCVG を提案する。
  論文  参考訳（メタデータ） (2026-05-14T15:50:25Z)
• CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing [76.74048814837336]
  映画ダビングは、ターゲット映像中の唇の動きと同期しながら、参照音声の音声アイデンティティを保持する音声を合成することを目的としている。 既存の方法は正確なリップシンクを達成できず、持続時間レベルでの明示的なアライメントによって自然性を欠いている。 認知同期拡散変換器(CoSync-DiT)により駆動される新しいフローマッチング型フィルムダビングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T05:03:57Z)
• SyncAnyone: Implicit Disentanglement via Progressive Self-Correction for Lip-Syncing in the wild [16.692450893925148]
  SyncAnyoneは、2段階の学習フレームワークで、正確なモーションモデリングと高い視覚的忠実度を同時に実現している。 ソースビデオからリップ同期映像を合成して擬似ペアリングトレーニングサンプルを作成するデータ生成パイプラインを開発した。 さらに、この合成データに基づいてステージ2モデルを調整し、正確な唇編集と背景の整合性を向上する。
  論文  参考訳（メタデータ） (2025-12-25T16:49:40Z)
• InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing [66.48064661467781]
  我々は、アイデンティティ、象徴的なジェスチャー、カメラ軌跡を維持するために参照を戦略的に保存する新しいパラダイムであるスパースフレームビデオダビングを導入する。 無限長長列ダビング用に設計されたストリーミングオーディオ駆動型ジェネレータであるInfiniteTalkを提案する。 HDTF、CelebV-HQ、EMTDデータセットの総合評価は、最先端の性能を示している。
  論文  参考訳（メタデータ） (2025-08-19T17:55:23Z)
• OmniSync: Towards Universal Lip Synchronization via Diffusion Transformers [18.187498205054748]
  我々は,多様な視覚シナリオを対象とした共通唇同期フレームワークであるOmniSyncを紹介する。 提案手法では,Diffusion Transformerモデルを用いたマスクのないトレーニングパラダイムを導入し,マスクを明示せずに直接フレーム編集を行う。 AI生成ビデオにおけるリップシンクのための最初の評価スイートであるAICLipSync Benchmarkも確立した。
  論文  参考訳（メタデータ） (2025-05-27T17:20:38Z)
• KeySync: A Robust Approach for Leakage-free Lip Synchronization in High Resolution [32.124841838431166]
  リップ同期は、入力ビデオからの表現リークのような重要な新しい課題を提示する。 KeySyncは、時間的一貫性の問題を解決するのに成功する2段階のフレームワークです。 以上の結果から,KeySyncは口唇再建と交叉同期を行い,視覚的品質の向上と表現リークの低減を図った。
  論文  参考訳（メタデータ） (2025-05-01T12:56:17Z)
• MuseTalk: Real-Time High-Fidelity Video Dubbing via Spatio-Temporal Sampling [12.438835523353347]
  拡散に基づく手法は高い視覚的忠実性を達成するが、計算コストの禁止に苦しむ。 MuseTalkは、遅延空間最適化とデータサンプリング戦略を通じて、このトレードオフを解決する新しい2段階のトレーニングフレームワークである。 MuseTalkは、潜在領域における効果的なオーディオ-視覚機能融合フレームワークを確立し、NVIDIA V100 GPU上で256*256の解像度で30 FPS出力を提供する。
  論文  参考訳（メタデータ） (2024-10-14T03:22:26Z)
• SegTalker: Segmentation-based Talking Face Generation with Mask-guided Local Editing [19.245228801339007]
  唇の動きとイメージテクスチャを分離するSegTalkerという新しいフレームワークを提案する。 我々はマスク誘導エンコーダを用いて画像の意味領域をスタイルコードに切り離す。 最終的に、以前に生成された音声セグメントとスタイルコードをマスク誘導型StyleGANに注入し、ビデオフレームを合成する。
  論文  参考訳（メタデータ） (2024-09-05T15:11:40Z)
• ReSyncer: Rewiring Style-based Generator for Unified Audio-Visually Synced Facial Performer [87.32518573172631]
  ReSyncerは運動と外観を統合トレーニングで融合する。 パーソナライズされたパーソナライズされた微調整、ビデオ駆動のリップシンク、話すスタイルの転送、顔交換までサポートしています。
  論文  参考訳（メタデータ） (2024-08-06T16:31:45Z)
• RIGID: Recurrent GAN Inversion and Editing of Real Face Videos [73.97520691413006]
  GANのインバージョンは、実画像に強力な編集可能性を適用するのに不可欠である。 既存のビデオフレームを個別に反転させる手法は、時間の経過とともに望ましくない一貫性のない結果をもたらすことが多い。 我々は、textbfRecurrent vtextbfIdeo textbfGAN textbfInversion and etextbfDiting (RIGID) という統合されたリカレントフレームワークを提案する。 本フレームワークは,入力フレーム間の固有コヒーレンスをエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2023-08-11T12:17:24Z)
• Masked Lip-Sync Prediction by Audio-Visual Contextual Exploitation in Transformers [91.00397473678088]
  従来の研究では、任意の目標の音声条件に対して、口唇同期音声を正確に生成する方法が検討されている。 本稿では,映像品質の正確なリップ同期を実現するAV-CAT(Audio-Visual Context-Aware Transformer)フレームワークを提案する。 我々のモデルは任意の被験者に対して高忠実度リップ同期結果を生成することができる。
  論文  参考訳（メタデータ） (2022-12-09T16:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。