論文の概要: KLASSify to Verify: Audio-Visual Deepfake Detection Using SSL-based Audio and Handcrafted Visual Features

• arxiv url: http://arxiv.org/abs/2508.07337v1
• Date: Sun, 10 Aug 2025 13:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.816722
• Title: KLASSify to Verify: Audio-Visual Deepfake Detection Using SSL-based Audio and Handcrafted Visual Features
• Title（参考訳）: KLASSify to Verify:SSLベースのオーディオと手作りの視覚特徴を用いたオーディオ・ビジュアル・ディープフェイク検出
• Authors: Ivan Kukanov, Jun Wah Ng,
• Abstract要約: AV-Deepfake1M 2025チャレンジに対するマルチモーダルアプローチを提案する。 視覚的モダリティには手作りの機能を活用して解釈性と適応性を向上させる。 音声のモダリティには、グラフアテンションネットワークと組み合わせた自己教師付き学習バックボーンを適用し、リッチな音声表現をキャプチャする。 当社のアプローチでは、レジリエンスと潜在的な解釈可能性に重点を置いて、パフォーマンスと実世界のデプロイメントのバランスを取ります。
• 参考スコア（独自算出の注目度）: 1.488627850405606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development of audio-driven talking head generators and advanced Text-To-Speech (TTS) models has led to more sophisticated temporal deepfakes. These advances highlight the need for robust methods capable of detecting and localizing deepfakes, even under novel, unseen attack scenarios. Current state-of-the-art deepfake detectors, while accurate, are often computationally expensive and struggle to generalize to novel manipulation techniques. To address these challenges, we propose multimodal approaches for the AV-Deepfake1M 2025 challenge. For the visual modality, we leverage handcrafted features to improve interpretability and adaptability. For the audio modality, we adapt a self-supervised learning (SSL) backbone coupled with graph attention networks to capture rich audio representations, improving detection robustness. Our approach strikes a balance between performance and real-world deployment, focusing on resilience and potential interpretability. On the AV-Deepfake1M++ dataset, our multimodal system achieves AUC of 92.78% for deepfake classification task and IoU of 0.3536 for temporal localization using only the audio modality.
• Abstract（参考訳）: 音声駆動音声ヘッドジェネレータと高度なText-To-Speech(TTS)モデルの急速な開発により、より洗練された時間的ディープフェイクがもたらされた。 これらの進歩は、新しい、目に見えない攻撃シナリオの下でも、ディープフェイクを検知し、ローカライズできる堅牢な方法の必要性を強調している。 現在の最先端のディープフェイク検出器は正確とは言え、計算コストがかかり、新しい操作技術への一般化に苦慮している。 これらの課題に対処するため,AV-Deepfake1M 2025チャレンジに対するマルチモーダルアプローチを提案する。 視覚的モダリティには手作りの機能を活用して解釈性と適応性を向上させる。 音声モダリティでは、グラフアテンションネットワークと組み合わせた自己教師付き学習(SSL)バックボーンを適用し、リッチな音声表現をキャプチャし、ロバスト性を向上する。 当社のアプローチでは、レジリエンスと潜在的な解釈可能性に重点を置いて、パフォーマンスと実世界のデプロイメントのバランスを取ります。 AV-Deepfake1M++データセットでは、ディープフェイク分類タスクでは92.78%のAUC、オーディオモードのみを用いた時間的局所化では0.3536のIoUを達成した。

関連論文リスト

• DiMoDif: Discourse Modality-information Differentiation for Audio-visual Deepfake Detection and Localization [13.840950434728533]
  DiMoDifはオーディオ・ビジュアル・ディープフェイク検出フレームワークである。 音声の機械知覚におけるモダリティ間差異を利用する。 時間的にディープフェイクの偽造を特定できる。
  論文  参考訳（メタデータ） (2024-11-15T13:47:33Z)
• Where are we in audio deepfake detection? A systematic analysis over generative and detection models [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供する。 従来のモデルベース検出システムと基礎モデルベース検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
  デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。 オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。 本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T18:45:01Z)
• What to Remember: Self-Adaptive Continual Learning for Audio Deepfake Detection [53.063161380423715]
  既存の検出モデルは、既知のディープフェイク音声を識別することに成功したが、新しい攻撃タイプに遭遇する際には苦労している。 本稿では,Radian Weight Modification (RWM) と呼ばれる連続的な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T09:52:17Z)
• NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection [50.33525966541906]
  既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。 NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。 我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
  論文  参考訳（メタデータ） (2023-06-12T06:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。