論文の概要: PVSync: A Unified Lip-Sync Expert for Timing and Articulation
- arxiv url: http://arxiv.org/abs/2610.09223v1
- Date: Tue, 06 Oct 2026 23:36:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.646715
- Title: PVSync: A Unified Lip-Sync Expert for Timing and Articulation
- Title（参考訳）: PVSync: タイミングとアーティキュレーションのための統一リップシンクエキスパート
- Abstract要約: PVSyncは音声・視覚のオフセット推定と音素レベルの調音スコアの統一モデルである。
13のトーキングヘッドビデオ生成モデルのオフセット補正ビデオでは、PVSyncはLSE-Cよりも人間のリップシンク品質のランキングとよく一致している。
- 参考スコア（独自算出の注目度）: 1.1331398559550736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lip movements can match the timing of speech without matching the spoken sounds. We introduce PVSync, a unified model for audio-visual offset estimation and phoneme-level articulation scoring. PVSync combines window-level contrastive learning for synchronisation with a phoneme-level articulation objective that aligns audio and video embeddings of the same viseme class across clips. Visemes group phonemes with similar visible articulation. Viseme labels are derived automatically from forced-aligned transcripts, without manual annotations. On offset-corrected videos from 13 talking-head video generation models, PVSync matches human rankings of lip-sync quality more closely than LSE-C, achieving a Spearman correlation of 0.83 versus 0.34. On an automatically constructed benchmark from held-out speech, PVSync distinguishes viseme-matched from mismatched audio-visual pairs with an ROC AUC of 0.91. PVSync also outperforms SyncNet and MTD-VocaLiST in temporal offset recovery on held-out in-the-wild clips. Code and benchmark data will be released upon acceptance.
- Abstract（参考訳）: 唇の動きは、発声音と一致させることなく、発声のタイミングに合わせることができる。
本稿では,音声-視覚的オフセット推定と音素レベル調音スコアの統一モデルであるPVSyncを紹介する。
PVSyncは、ウィンドウレベルのコントラスト学習と音素レベルの調音目標を組み合わせることで、同じビセムクラスの音声とビデオの埋め込みをクリップ間で整列させる。
類似した可視音節を持つヴァイセム群音素。
Visemeラベルは、手動のアノテーションなしで強制整列された書き起こしから自動的に派生する。
13本のトーキングヘッドビデオ生成モデルのオフセット補正ビデオでは、PVSyncはLSE-Cよりも人間のリップシンク品質のランキングと一致し、スピアマン相関は0.83対0.34である。
保持音声から自動的に構築されたベンチマークでは、PVSyncは、ROC AUCの0.91とミスマッチしたオーディオと視覚のペアを区別する。
PVSync は SyncNet や MTD-VocaLiST よりも優れた時間オフセットリカバリを実現している。
コードとベンチマークデータは受理時にリリースされる。
関連論文リスト
- When Speech Meets Lips: Interpretable Audio-Visual Synchronization for L2 Pronunciation Assessment [12.51525565225002]
本稿では,音声-リップの時間的アライメントを明示的にモデル化する,解釈可能な音声-視覚同期フレームワークを提案する。
10名のインストラクター,20名の学生を対象に質問紙調査を行い,その有効性について検討した。
論文 参考訳（メタデータ） (2026-09-06T19:11:33Z) - CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing [76.74048814837336]
映画ダビングは、ターゲット映像中の唇の動きと同期しながら、参照音声の音声アイデンティティを保持する音声を合成することを目的としている。
既存の方法は正確なリップシンクを達成できず、持続時間レベルでの明示的なアライメントによって自然性を欠いている。
認知同期拡散変換器(CoSync-DiT)により駆動される新しいフローマッチング型フィルムダビングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-14T05:03:57Z) - Syncphony: Synchronized Audio-to-Video Generation with Diffusion Transformers [19.226787997122987]
380x640の解像度、24fpsのビデオが多様な音声入力と同期するSyncphonyを提案する。
提案手法は,事前学習したビデオバックボーン上に構築され,同期性を改善するために2つの重要なコンポーネントが組み込まれている。
AVSync15とThe Greatest Hitsデータセットの実験では、Syncphonyは同期精度と視覚的品質の両方で既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2025-09-26T05:30:06Z) - OmniSync: Towards Universal Lip Synchronization via Diffusion Transformers [18.187498205054748]
我々は,多様な視覚シナリオを対象とした共通唇同期フレームワークであるOmniSyncを紹介する。
提案手法では,Diffusion Transformerモデルを用いたマスクのないトレーニングパラダイムを導入し,マスクを明示せずに直接フレーム編集を行う。
AI生成ビデオにおけるリップシンクのための最初の評価スイートであるAICLipSync Benchmarkも確立した。
論文 参考訳（メタデータ） (2025-05-27T17:20:38Z) - ReSyncer: Rewiring Style-based Generator for Unified Audio-Visually Synced Facial Performer [87.32518573172631]
ReSyncerは運動と外観を統合トレーニングで融合する。
パーソナライズされたパーソナライズされた微調整、ビデオ駆動のリップシンク、話すスタイルの転送、顔交換までサポートしています。
論文 参考訳（メタデータ） (2024-08-06T16:31:45Z) - Synchformer: Efficient Synchronization from Sparse Cues [100.89656994681934]
コントリビューションには、新しい音声-視覚同期モデル、同期モデルからの抽出を分離するトレーニングが含まれる。
このアプローチは、濃密な設定とスパース設定の両方において最先端の性能を実現する。
また,100万スケールの 'in-the-wild' データセットに同期モデルのトレーニングを拡張し,解釈可能性に対するエビデンス属性技術を調査し,同期モデルの新たな機能であるオーディオ-視覚同期性について検討する。
論文 参考訳（メタデータ） (2024-01-29T18:59:55Z) - GestSync: Determining who is speaking without a talking head [67.75387744442727]
本稿では,ジェスチャ・シンク (Gesture-Sync) を導入する。
Lip-Syncと比較して、Gesture-Syncは、声と体の動きの間にはるかに緩い関係があるため、はるかに難しい。
このモデルは自己教師付き学習だけで訓練でき、LSS3データセット上での性能を評価することができる。
論文 参考訳（メタデータ） (2023-10-08T22:48:30Z) - Audio-driven Talking Face Generation with Stabilized Synchronization Loss [60.01529422759644]
トーキング・フェイスジェネレーションは、正確な唇の同期と高い視覚的品質でリアルなビデオを作成することを目的としている。
まずサイレント・リップ・ジェネレータを導入することでリップリーク問題に対処する。
実験の結果,我々のモデルは視覚的品質と唇の同期の両方において最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-18T15:50:04Z) - On the Audio-visual Synchronization for Lip-to-Speech Synthesis [22.407313748927393]
GRID, TCD-TIMIT, Lip2Wav などの一般的な音声視覚データセットは, データの非同期性に問題があることを示す。
このようなデータセットでリップ・トゥ・スペルのトレーニングを行うと、モデル非同期問題(つまり、生成された音声と入力ビデオの同期が切れている)がさらに引き起こされる可能性がある。
論文 参考訳（メタデータ） (2023-03-01T13:35:35Z) - Audio-Visual Synchronisation in the wild [149.84890978170174]
我々は,VGG-Sound Syncという,高い音声・視覚相関を持つテストセットを同定し,キュレートする。
任意の長さの音響信号と視覚信号のモデル化に特化して設計された,トランスフォーマーに基づく多数のアーキテクチャ変種を比較した。
我々は,新しいVGG-Sound Syncビデオデータセットにおいて,160以上の多様なクラスと一般的な音声-視覚同期のための最初のベンチマークを設定した。
論文 参考訳（メタデータ） (2021-12-08T17:50:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。