論文の概要: Ariadne's Thread of LipSync: Unraveling Forgeries via Inconsistency between Lip Motions and Head Poses

• arxiv url: http://arxiv.org/abs/2610.08417v1
• Date: Tue, 06 Oct 2026 14:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.036928
• Title: Ariadne's Thread of LipSync: Unraveling Forgeries via Inconsistency between Lip Motions and Head Poses
• Title（参考訳）: アリアドーンのリップシンクの糸--リップモーションとヘッドポジショニングの不整合を通したフォジトリーの展開
• Abstract要約: LipSync生成技術は、非常にリアルなビデオを作成し、深刻な社会的リスクを生じさせている。 本稿では,LipSync検出と属性を併用する新しいフレームワークであるLipDAを提案する。 検出のために、このフレームワークは、唇と偽ビデオの特徴を対比して、この相違を定量化することを学ぶ。 本手法は,モデルの指紋として機能するユニークな時間的ダイナミクスと音声-視覚同期パターンを捉えるために設計されている。
• 参考スコア（独自算出の注目度）: 45.57071249507618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in LipSync generation technology have led to the creation of highly realistic videos, posing severe societal risks. However, existing defense strategies struggle against LipSync forgeries, as advanced LipSync generation methods not only achieve better lip synchronization but also eliminate visual artifacts. An important reason is that they overlook an inherent biological coupling between lip movements and head poses in natural speech videos. In this paper, we propose LipDA, a novel framework for joint LipSync Detection and Attribution, which takes advantage of the inconsistency between head and lip. For detection, the framework learns to quantify this discrepancy by contrasting lip and pose features from authentic versus forged videos. For attribution, our method is designed to capture the unique temporal dynamics and audio-visual synchronization patterns that act as the fingerprint of models, enabling source tracing. We conduct extensive experiments on two challenging LipSync datasets as well as our own proposed large-scale and multi-generator dataset. LipDA achieves over 97\% AUC in detection and 97.5\% accuracy in model attribution, significantly outperforming existing methods. Code and the proposed LipSync-A dataset are available at https://github.com/AnsonShe/LipDA.
• Abstract（参考訳）: LipSync生成技術の最近の進歩により、非常にリアルなビデオが作成され、深刻な社会的リスクが生じた。 しかし、従来の防衛戦略はリップシンクの偽造に対抗しており、先進的なリップシンク生成手法はより良いリップシンクを達成するだけでなく、視覚的アーティファクトを排除している。 重要な理由は、ナチュラル・スピーチ・ビデオにおいて、唇の動きと頭部のポーズが本質的に生物学的に結合しているのを見落としているからである。 本稿では,頭と唇の矛盾を生かしたLipSync Detection and Attributionのための新しいフレームワークであるLipDAを提案する。 検出のために、このフレームワークは、唇と偽ビデオの特徴を対比して、この相違を定量化することを学ぶ。 本手法は,モデルの指紋として機能するユニークな時間的ダイナミックスと音声と視覚の同期パターンを抽出し,音源追跡を可能にする。 2つの挑戦的なLipSyncデータセットについて広範な実験を行い、提案した大規模およびマルチジェネレータデータセットについて検討する。 LipDA は 97 % AUC 以上の検出精度と 97.5 % のモデル属性を達成し,既存の手法を著しく上回っている。 コードと提案されたLipSync-Aデータセットはhttps://github.com/AnsonShe/LipDAで公開されている。

関連論文リスト

• Removing Averaging: Personalized Lip-Sync Driven Characters Based on Identity Adapter [13.630889787934722]
  リップ平均化(lip averaging)現象は、未確認映像を撮影する際に、モデルが微妙な顔の細部を保存できない場合に発生する。 参照ビデオからアイデンティティ埋め込みを抽出し,忠実な顔列を生成するUnAvgLipを提案する。
  論文  参考訳（メタデータ） (2025-03-09T02:36:31Z)
• Style-Preserving Lip Sync via Audio-Aware Style Reference [85.686411962494]
  個人は、個人の独特の話し方に起因して、同じ発話をするときに異なる唇の形を示す。 入力音声に対応する唇の動きを予測できる高度なトランスフォーマーモデルを開発し, スタイル参照ビデオから, クロスアテンション層に集約されたスタイル情報によって拡張する。 提案手法の有効性を検証し, 正確な唇のシンク, 発話スタイルの保存, 高忠実でリアルな話し声ビデオの生成に有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-10T02:46:11Z)
• Lips Are Lying: Spotting the Temporal Inconsistency between Audio and Visual in Lip-Syncing DeepFakes [9.993053682230935]
  リップフォージェリービデオは、既存のDeepFake検出方法に深刻な課題をもたらす。 本稿では,唇運動と音声信号の整合性を利用したリップフォージェリー識別のための新しい手法を提案する。 我々のアプローチでは、リップシンク動画の発見において平均95.3%以上の精度が得られている。
  論文  参考訳（メタデータ） (2024-01-28T14:22:11Z)
• Audio-driven Talking Face Generation with Stabilized Synchronization Loss [60.01529422759644]
  トーキング・フェイスジェネレーションは、正確な唇の同期と高い視覚的品質でリアルなビデオを作成することを目的としている。 まずサイレント・リップ・ジェネレータを導入することでリップリーク問題に対処する。 実験の結果,我々のモデルは視覚的品質と唇の同期の両方において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-18T15:50:04Z)
• Exploring Phonetic Context-Aware Lip-Sync For Talking Face Generation [58.72068260933836]
  コンテキスト対応LipSync-フレームワーク(CALS) CALSはAudio-to-LipマップモジュールとLip-to-Faceモジュールで構成されている。
  論文  参考訳（メタデータ） (2023-05-31T04:50:32Z)
• Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert [89.07178484337865]
  音声合成は、コヒーレントな音声入力が与えられた唇に関する顔の動きを再構成する。 従来の研究では、唇音の同期と視覚的品質が重要であった。 そこで我々は, 唇読解の専門家を用いて, 生成した唇領域の知性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-29T07:51:07Z)
• Data standardization for robust lip sync [10.235718439446044]
  既存のリップシンクメソッドは、野生では堅牢ではない。 重要な原因の1つは、視覚入力側の要因を逸脱させることであり、唇の動き情報を抽出することが困難である。 本稿では,リップシンクのための視覚入力を標準化するデータ標準化パイプラインを提案する。
  論文  参考訳（メタデータ） (2022-02-13T04:09:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。