論文の概要: LiveSync: Iterative Self-Training for Lip-Sync Generation

• arxiv url: http://arxiv.org/abs/2610.23558v1
• Date: Fri, 16 Oct 2026 14:46:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.959381
• Title: LiveSync: Iterative Self-Training for Lip-Sync Generation
• Title（参考訳）: LiveSync: リップシンク生成のための反復的なセルフトレーニング
• Abstract要約: リップ同期のための反復的自己学習フレームワークであるLiveSyncを提案する。 我々は,LiveSyncが,AIGC-LipSyncサブセットのベースラインと比較して,HDTFと競合性能で先行的な同期性能を実現することを示す。 フレームワークを単一パスのGANベースモデルでインスタンス化するが、原則として自己学習戦略は拡散ベースモデルにも適用できる。
• 参考スコア（独自算出の注目度）: 19.736544441776832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-driven lip synchronization aims to match target speech through localized mouth and jaw articulation while preserving subject identity, head pose, and surrounding facial context. Naturally recorded videos provide synchronized reconstruction targets but rarely offer pairs that are matched in identity and pose yet differ primarily in speech-related articulation. Mask-based training enables reconstruction from these videos, but random-reference inputs differ from the aligned self-reference used at inference. We present LiveSync, an iterative self-training framework in which a single mask-based model generates pseudo pairs and is refined for deployment. The model is first trained on a curated real-video corpus augmented with externally generated clips covering under-represented visual conditions. A frozen checkpoint then uses independently sampled audio to generate mouth-edited references from real-video frames, copying pixels outside the edit mask from each source frame. After confidence filtering, these references are paired with aligned masked inputs and original real-frame targets. The retained pseudo pairs are mixed with real training data to refine the same model from its current weights, updating training supervision without adding inference stages. Although we instantiate the framework with a single-pass GAN-based model, the self-training strategy could in principle also be adapted to diffusion-based models. Experimental results show that LiveSync achieves leading synchronization performance on HDTF and competitive performance compared with the baselines on the AIGC-LipSync subset, while maintaining low inference latency.
• Abstract（参考訳）: 音声駆動型唇同期は, 主観的同一性, 頭部ポーズ, 周囲の顔の文脈を保ちながら, 口と顎の関節で対象の音声と一致させることを目的としている。 自然に記録されたビデオは、同期された再構成ターゲットを提供するが、アイデンティティで一致し、主に音声関連の調音において異なるポーズをとるペアを提供することは滅多にない。 マスクベースのトレーニングはこれらのビデオからの再構成を可能にするが、ランダム参照入力は推論で使用されるアライメントされた自己参照とは異なる。 マスクベースの1つのモデルが擬似ペアを生成し,展開のために改良された反復的自己学習フレームワークであるLiveSyncを提案する。 このモデルは、まず、未表現の視覚条件をカバーする外部に生成されたクリップで強化された実ビデオコーパスで訓練される。 凍結したチェックポイントは、独立したサンプルオーディオを使用して、実際のビデオフレームから口編集された参照を生成し、各ソースフレームから編集マスクの外側のピクセルをコピーする。 信頼度フィルタリングの後、これらの参照は、アライメントされたマスクされた入力と元の実フレームターゲットとペアリングされる。 保持された擬似ペアは、実際のトレーニングデータと混合され、現在の重みから同じモデルを洗練し、推論段階を追加することなくトレーニング監督を更新する。 フレームワークを単一パスのGANベースモデルでインスタンス化するが、原則として自己学習戦略は拡散ベースモデルにも適用できる。 実験結果から,LiveSyncは低推論レイテンシを維持しつつ,AIGC-LipSyncサブセットのベースラインと比較して,HDTFと競合性能で先行的な同期性能を実現していることがわかった。

関連論文リスト

• EfficientSync: Real-Time Lip Synchronization via Deformation-Based Reference Texture Mixing [27.339264900758693]
  提案するEfficientSyncは, 参照テクスチャを合成するのではなく, リアルタイムな変形ベースのフレームワークである。 HDTFとVFHQの実験では、1つのGPU上で166FPSで最先端の視覚的品質とアイデンティティの保存が示されている。
  論文  参考訳（メタデータ） (2026-08-19T11:49:06Z)
• From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation [54.68405211129937]
  Exo-Seqto-Egoビデオ生成は、同期された3人称と対応するカメラポーズから1人称ビューを合成することを目的としている。 同期されたExo-egoデータは本質的に時間的不連続を導入し、標準ビデオ生成ベンチマークのスムーズな動作仮定に違反する。 我々は、ソースとターゲットビデオの間に補間して単一の連続信号を形成するシーケンシャルシーケンスモデルであるSyn2Ex-Forcingを提案する。
  論文  参考訳（メタデータ） (2026-04-15T12:32:25Z)
• CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing [76.74048814837336]
  映画ダビングは、ターゲット映像中の唇の動きと同期しながら、参照音声の音声アイデンティティを保持する音声を合成することを目的としている。 既存の方法は正確なリップシンクを達成できず、持続時間レベルでの明示的なアライメントによって自然性を欠いている。 認知同期拡散変換器(CoSync-DiT)により駆動される新しいフローマッチング型フィルムダビングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T05:03:57Z)
• From Inpainting to Editing: A Self-Bootstrapping Framework for Context-Rich Visual Dubbing [24.998261989251976]
  そこで本稿では,不適切な塗布作業から映像間編集問題への視覚的ダビングを再構成するセルフブートストラップフレームワークを提案する。 我々のアプローチでは、まずデータジェネレータとしてDiffusion Transformerを使用し、理想的なトレーニングデータを合成する。 DiDubTベースのオーディオ駆動エディタは、これらのペアをエンドツーエンドでトレーニングし、完全な入力ビデオフレームを活用して、正確なオーディオ駆動リップ修正のみに集中する。
  論文  参考訳（メタデータ） (2025-12-31T18:58:30Z)
• Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion [67.94300151774085]
  本稿では,自己回帰ビデオ拡散モデルのための新しい訓練パラダイムであるSelf Forcingを紹介する。 露光バイアスの長年の問題に対処し、地道的な文脈で訓練されたモデルは、自身の不完全な出力で条件付けられたシーケンスを生成する必要がある。
  論文  参考訳（メタデータ） (2025-06-09T17:59:55Z)
• OmniSync: Towards Universal Lip Synchronization via Diffusion Transformers [18.187498205054748]
  我々は,多様な視覚シナリオを対象とした共通唇同期フレームワークであるOmniSyncを紹介する。 提案手法では,Diffusion Transformerモデルを用いたマスクのないトレーニングパラダイムを導入し,マスクを明示せずに直接フレーム編集を行う。 AI生成ビデオにおけるリップシンクのための最初の評価スイートであるAICLipSync Benchmarkも確立した。
  論文  参考訳（メタデータ） (2025-05-27T17:20:38Z)
• ReSyncer: Rewiring Style-based Generator for Unified Audio-Visually Synced Facial Performer [87.32518573172631]
  ReSyncerは運動と外観を統合トレーニングで融合する。 パーソナライズされたパーソナライズされた微調整、ビデオ駆動のリップシンク、話すスタイルの転送、顔交換までサポートしています。
  論文  参考訳（メタデータ） (2024-08-06T16:31:45Z)
• Synchformer: Efficient Synchronization from Sparse Cues [100.89656994681934]
  コントリビューションには、新しい音声-視覚同期モデル、同期モデルからの抽出を分離するトレーニングが含まれる。 このアプローチは、濃密な設定とスパース設定の両方において最先端の性能を実現する。 また,100万スケールの 'in-the-wild' データセットに同期モデルのトレーニングを拡張し,解釈可能性に対するエビデンス属性技術を調査し,同期モデルの新たな機能であるオーディオ-視覚同期性について検討する。
  論文  参考訳（メタデータ） (2024-01-29T18:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。