論文の概要: From Talking to Singing: A New Challenge for Audio-Visual Deepfake Detection

• arxiv url: http://arxiv.org/abs/2605.27944v1
• Date: Wed, 27 May 2026 04:33:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.744099
• Title: From Talking to Singing: A New Challenge for Audio-Visual Deepfake Detection
• Title（参考訳）: 講演から歌へ:オーディオ・ビジュアル・ディープフェイク検出の新しい挑戦
• Authors: Ke Liu, Jiwei Wei, Wenyu Zhang, Shuchang Zhou, Ruikun Chai, Yutao Dai, Chaoning Zhang, Yang Yang,
• Abstract要約: オーディオ・ビジュアル・ディープフェイク検出のための既存の手法は、クロスモーダルな不整合に依存している。 歌唱において、リズム的発声はこの結合を弱め、非自明なドメインシフトを導入する。 歌唱ベンチマークのギャップを埋めるためにリズム認識型生成モデルを用いて歌唱ヘッドディープフェイクデータセットを構築した。
• 参考スコア（独自算出の注目度）: 23.76387977850747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With rapid advances in audio-visual generative models, reliable forgery detection becomes increasingly critical. Existing methods for audio-visual deepfake detection typically rely on cross-modal inconsistencies. In singing, rhythmic vocalization weakens this coupling and introduces a nontrivial domain shift, substantially degrading detection performance. We construct the Singing Head DeepFake (SHDF) dataset using rhythm-aware generative models to fill the gap in singing benchmarks. To cope with cross-scenario domain shifts, we propose a Text-guided Audio-Visual Forgery Detection (T-AVFD) framework that generalizes across both talking and singing scenarios. T-AVFD comprises a facial authenticity pattern learner and a multi-modal differential weight learning module. The pattern learner aligns facial features with multi-granularity textual descriptions to learn generalizable authenticity patterns. The weight learning module preserves intrinsic audio-visual consistency and adaptively integrates it with authenticity patterns via differential weighting. Extensive experiments on multiple talking head deepfake datasets and SHDF show consistent improvements over existing baselines and strong robustness under diverse perturbations.
• Abstract（参考訳）: 音声・視覚生成モデルの急速な進歩により、信頼性の高い偽造検出がますます重要となる。 オーディオ・ビジュアル・ディープフェイク検出の既存の手法は、通常、クロスモーダルな不整合に依存している。 歌唱において、リズム発声はこの結合を弱め、非自明なドメインシフトを導入し、検出性能を著しく低下させる。 歌唱ベンチマークのギャップを埋めるため,リズム認識型生成モデルを用いて歌唱ヘッドディープフェイク(SHDF)データセットを構築した。 シナリオ間ドメインシフトに対処するため,テキスト誘導型オーディオ・ビジュアル・フォージェリ検出(T-AVFD)フレームワークを提案する。 T−AVFDは、顔認証パターン学習器と多モード差分重み学習モジュールとを備える。 パターン学習者は、顔の特徴を多粒度テキスト記述と整合させて、一般化可能な認証パターンを学習する。 重み学習モジュールは、本質的な音声・視覚的整合性を保持し、差分重み付けによる真正性パターンと適応的に統合する。 複数の音声頭深度データセットとSHDFの大規模な実験は、様々な摂動下での既存のベースラインと強靭性よりも一貫した改善を示している。

関連論文リスト

• SAVe: Self-Supervised Audio-visual Deepfake Detection Exploiting Visual Artifacts and Audio-visual Misalignment [74.05278327933006]
  SAVeは,音声・視覚深度検出フレームワークで,映像の完全学習を行う。 SAVEは、タグ付けアーティファクトをエミュレートするために、オンザフライ、アイデンティティ保存、地域対応の自明な擬似操作を生成する。 クロスモーダルな証拠を捉えるために、SAVeはリップ音声同期もモデル化している。
  論文  参考訳（メタデータ） (2026-03-26T08:01:35Z)
• Towards Generalizable Deepfake Detection via Forgery-aware Audio-Visual Adaptation: A Variational Bayesian Approach [31.10567291555587]
  Forgery-aware Audio-Visual Adaptation with Variational Bayes (FoVB) を開発した。 我々は様々な差分畳み込みとハイパスフィルタを利用して、局所的および大域的偽証トレースを両モードで識別する。 我々のFoVBは、様々なベンチマークにおいて、他の最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2025-11-24T13:20:03Z)
• PIA: Deepfake Detection Using Phoneme-Temporal and Identity-Dynamic Analysis [22.49571926071395]
  Phoneme-Temporal and Identity-Dynamic Analysisはディープフェイク検出のための新しいフレームワークである。 言語、動的顔の動き、および制限に対処するための顔認証手段が組み込まれている。 微妙な深度変化の検出を大幅に改善する。
  論文  参考訳（メタデータ） (2025-10-16T02:51:42Z)
• Learning Normal Patterns in Musical Loops [0.0]
  本稿では,音楽サンプル(ループ)の音響パターンを異常検出により検出するための教師なしフレームワークを提案する。 深部特徴抽出と教師なし異常検出を組み合わせたアーキテクチャにより,これらの制約に対処する。
  論文  参考訳（メタデータ） (2025-05-22T19:52:00Z)
• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• DiMoDif: Discourse Modality-information Differentiation for Audio-visual Deepfake Detection and Localization [13.840950434728533]
  DiMoDifはオーディオ・ビジュアル・ディープフェイク検出フレームワークである。 音声の機械知覚におけるモダリティ間差異を利用する。 時間的にディープフェイクの偽造を特定できる。
  論文  参考訳（メタデータ） (2024-11-15T13:47:33Z)
• Training-Free Deepfake Voice Recognition by Leveraging Large-Scale Pre-Trained Models [52.04189118767758]
  一般化は、現在のオーディオディープフェイク検出器の主な問題である。 本稿では,オーディオディープフェイク検出のための大規模事前学習モデルの可能性について検討する。
  論文  参考訳（メタデータ） (2024-05-03T15:27:11Z)
• What to Remember: Self-Adaptive Continual Learning for Audio Deepfake Detection [53.063161380423715]
  既存の検出モデルは、既知のディープフェイク音声を識別することに成功したが、新しい攻撃タイプに遭遇する際には苦労している。 本稿では,Radian Weight Modification (RWM) と呼ばれる連続的な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T09:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。