論文の概要: Lip Forcing: Few-Step Autoregressive Diffusion for Real-time Lip Synchronization
- arxiv url: http://arxiv.org/abs/2606.11180v1
- Date: Tue, 09 Jun 2026 17:56:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.66167
- Title: Lip Forcing: Few-Step Autoregressive Diffusion for Real-time Lip Synchronization
- Title（参考訳）: リップ強制: リアルタイムリップ同期のためのFew-Step自己回帰拡散
- Authors: Paul Hyunbin Cho, Jinhyuk Jang, SeokYoung Lee, Joungbin Lee, Siyoon Jin, Heeseong Shin, Jung Yi, Yunjin Park, Chulmin Park, Seungryong Kim,
- Abstract要約: Lip Forcingは、ビデオ対ビデオ(V2V)リップ同期のための最初の自己回帰拡散法である。
学生は、推測時間CFGを使わずに、各チャンクを2段階に分けて生成する。
Lip Forcing氏はこの発見を,Sync-Window DMD,2ステップの推論スケジュール,SyncNetベースの報酬という,分析から派生した3つのコンポーネントに変換する。
- 参考スコア（独自算出の注目度）: 28.07368643444433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion-based lip synchronization models achieve strong visual quality and audio-visual alignment, but full-sequence bidirectional attention and many denoising steps make them impractical for real-time inference. We present Lip Forcing, to our knowledge the first autoregressive diffusion method for video-to-video (V2V) lip synchronization, which distills a 14B audio-conditioned bidirectional video diffusion teacher into causal students. At inference, the students generate each chunk in only two denoising steps without inference-time CFG, enabling real-time lip synchronization. A lip-sync-specific teacher-trajectory analysis reveals a CFG fidelity-sync tradeoff: no-CFG predictions favor reference fidelity, whereas CFG-guided predictions favor synchronization within a mid-trajectory band. Lip Forcing translates this finding into three analysis-derived components: Sync-Window DMD, a two-step inference schedule, and a SyncNet-based reward. We validate Lip Forcing at two student scales, both distilled from the 14B teacher. The 1.3B student crosses into real-time streaming at 31 FPS, $17.6\times$ faster than its same-scale bidirectional model. The 14B student, the largest diffusion model reported for V2V lip synchronization, runs $39.8\times$ faster than its teacher at comparable reference fidelity. Time-to-first-frame is sub-millisecond at both scales, far below every diffusion baseline.
- Abstract（参考訳）: 拡散に基づく唇同期モデルは、強い視覚的品質とオーディオ・視覚的アライメントを実現するが、フルシーケンスの双方向の注意と多くのデノナイジングステップにより、リアルタイムの推論には実用的でない。
本稿では,V2V(V2V)リップ同期のための最初の自己回帰拡散法について述べる。
推論では、各チャンクは、推測時間CFGを使わずに2段階のみに生成され、リアルタイムの唇同期が可能となる。
非CFG予測は参照忠実度を優先するが、CFG誘導予測は中軌道帯域内での同期を優先する。
Lip Forcing氏はこの発見を,Sync-Window DMD,2ステップの推論スケジュール,SyncNetベースの報酬という,分析から派生した3つのコンポーネントに変換する。
14B教師から蒸留した2つの学生尺度でリップ強制を検証した。
1.3Bの学生は31FPSでリアルタイムストリーミングに移行し、同じスケールの双方向モデルよりも17.6\times$が速い。
V2Vの唇同期で報告された最大の拡散モデルである14Bの学生は、教師が同等の基準忠実度で39.8\times$を走らせる。
タイム・ツー・ファースト・フレームは両方のスケールでミリ秒以下であり、拡散ベースラインのほとんど以下である。
関連論文リスト
- Mutual Forcing: Dual-Mode Self-Evolution for Fast Autoregressive Audio-Video Character Generation [86.69465782855086]
Mutual Forcingは、長時間のオーディオ-ビデオ同期を伴う高速自動回帰オーディオ-ビデオ生成のためのフレームワークである。
提案手法は,ジョイント・オーディオ・ビデオ・モデリングと高速自己回帰生成という2つの課題に対処する。
論文 参考訳（メタデータ） (2026-04-28T16:28:05Z) - SyncAnyone: Implicit Disentanglement via Progressive Self-Correction for Lip-Syncing in the wild [16.692450893925148]
SyncAnyoneは、2段階の学習フレームワークで、正確なモーションモデリングと高い視覚的忠実度を同時に実現している。
ソースビデオからリップ同期映像を合成して擬似ペアリングトレーニングサンプルを作成するデータ生成パイプラインを開発した。
さらに、この合成データに基づいてステージ2モデルを調整し、正確な唇編集と背景の整合性を向上する。
論文 参考訳（メタデータ） (2025-12-25T16:49:40Z) - StableDub: Taming Diffusion Prior for Generalized and Efficient Visual Dubbing [63.72095377128904]
視覚的ダビングタスクは、運転音声と同期した口の動きを生成することを目的としている。
音声のみの運転パラダイムは、話者固有の唇習慣を不十分に捉えている。
Blind-inpaintingアプローチは、障害を処理する際に視覚的なアーティファクトを生成する。
論文 参考訳（メタデータ） (2025-09-26T05:23:31Z) - OmniSync: Towards Universal Lip Synchronization via Diffusion Transformers [18.187498205054748]
我々は,多様な視覚シナリオを対象とした共通唇同期フレームワークであるOmniSyncを紹介する。
提案手法では,Diffusion Transformerモデルを用いたマスクのないトレーニングパラダイムを導入し,マスクを明示せずに直接フレーム編集を行う。
AI生成ビデオにおけるリップシンクのための最初の評価スイートであるAICLipSync Benchmarkも確立した。
論文 参考訳（メタデータ） (2025-05-27T17:20:38Z) - From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。
この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。
我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
論文 参考訳（メタデータ） (2024-12-10T18:59:50Z) - Audio-driven Talking Face Generation with Stabilized Synchronization Loss [60.01529422759644]
トーキング・フェイスジェネレーションは、正確な唇の同期と高い視覚的品質でリアルなビデオを作成することを目的としている。
まずサイレント・リップ・ジェネレータを導入することでリップリーク問題に対処する。
実験の結果,我々のモデルは視覚的品質と唇の同期の両方において最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-18T15:50:04Z) - SimulLR: Simultaneous Lip Reading Transducer with Attention-Guided
Adaptive Memory [61.44510300515693]
注意誘導型適応メモリを用いた同時唇読解用トランスデューサSimulLRについて検討した。
実験の結果、SimulLRは最先端の非同期手法に比べて9.10倍の高速化を実現していることがわかった。
論文 参考訳（メタデータ） (2021-08-31T05:54:16Z) - A Lip Sync Expert Is All You Need for Speech to Lip Generation In The
Wild [37.37319356008348]
ターゲット音声セグメントにマッチする任意のアイデンティティの話し顔ビデオのリップ同期。
これに関連する重要な理由を同定し、強力なリップシンク識別器から学習することで解決する。
制約のないビデオのリップ同期を正確に測定するための,厳密な評価ベンチマークとメトリクスを提案する。
論文 参考訳（メタデータ） (2020-08-23T11:01:25Z) - Deformation Flow Based Two-Stream Network for Lip Reading [90.61063126619182]
唇読解とは、人が話しているときの唇領域の動きを分析して、音声の内容を認識するタスクである。
発話過程における隣り合うフレームの連続性と、同じ音素を発音する場合の異なる話者間の動きパターンの一致を観察する。
本研究では,隣接するフレーム間の変形流を学習するために変形流ネットワーク(DFN)を導入し,唇領域内の運動情報を直接キャプチャする。
そして、学習した変形流を元のグレースケールフレームと2ストリームネットワークに結合して唇読取を行う。
論文 参考訳（メタデータ） (2020-03-12T11:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。