論文の概要: KLASSify to Verify: Audio-Visual Deepfake Detection Using SSL-based Audio and Handcrafted Visual Features

• arxiv url: http://arxiv.org/abs/2508.07337v1
• Date: Sun, 10 Aug 2025 13:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.816722
• Title: KLASSify to Verify: Audio-Visual Deepfake Detection Using SSL-based Audio and Handcrafted Visual Features
• Title（参考訳）: KLASSify to Verify:SSLベースのオーディオと手作りの視覚特徴を用いたオーディオ・ビジュアル・ディープフェイク検出
• Authors: Ivan Kukanov, Jun Wah Ng,
• Abstract要約: AV-Deepfake1M 2025チャレンジに対するマルチモーダルアプローチを提案する。 視覚的モダリティには手作りの機能を活用して解釈性と適応性を向上させる。 音声のモダリティには、グラフアテンションネットワークと組み合わせた自己教師付き学習バックボーンを適用し、リッチな音声表現をキャプチャする。 当社のアプローチでは、レジリエンスと潜在的な解釈可能性に重点を置いて、パフォーマンスと実世界のデプロイメントのバランスを取ります。
• 参考スコア（独自算出の注目度）: 1.488627850405606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development of audio-driven talking head generators and advanced Text-To-Speech (TTS) models has led to more sophisticated temporal deepfakes. These advances highlight the need for robust methods capable of detecting and localizing deepfakes, even under novel, unseen attack scenarios. Current state-of-the-art deepfake detectors, while accurate, are often computationally expensive and struggle to generalize to novel manipulation techniques. To address these challenges, we propose multimodal approaches for the AV-Deepfake1M 2025 challenge. For the visual modality, we leverage handcrafted features to improve interpretability and adaptability. For the audio modality, we adapt a self-supervised learning (SSL) backbone coupled with graph attention networks to capture rich audio representations, improving detection robustness. Our approach strikes a balance between performance and real-world deployment, focusing on resilience and potential interpretability. On the AV-Deepfake1M++ dataset, our multimodal system achieves AUC of 92.78% for deepfake classification task and IoU of 0.3536 for temporal localization using only the audio modality.
• Abstract（参考訳）: 音声駆動音声ヘッドジェネレータと高度なText-To-Speech(TTS)モデルの急速な開発により、より洗練された時間的ディープフェイクがもたらされた。 これらの進歩は、新しい、目に見えない攻撃シナリオの下でも、ディープフェイクを検知し、ローカライズできる堅牢な方法の必要性を強調している。 現在の最先端のディープフェイク検出器は正確とは言え、計算コストがかかり、新しい操作技術への一般化に苦慮している。 これらの課題に対処するため,AV-Deepfake1M 2025チャレンジに対するマルチモーダルアプローチを提案する。 視覚的モダリティには手作りの機能を活用して解釈性と適応性を向上させる。 音声モダリティでは、グラフアテンションネットワークと組み合わせた自己教師付き学習(SSL)バックボーンを適用し、リッチな音声表現をキャプチャし、ロバスト性を向上する。 当社のアプローチでは、レジリエンスと潜在的な解釈可能性に重点を置いて、パフォーマンスと実世界のデプロイメントのバランスを取ります。 AV-Deepfake1M++データセットでは、ディープフェイク分類タスクでは92.78%のAUC、オーディオモードのみを用いた時間的局所化では0.3536のIoUを達成した。

関連論文リスト

• Investigating the Viability of Employing Multi-modal Large Language Models in the Context of Audio Deepfake Detection [6.491407316650203]
  VLM(Vision-Language Models)とMLLM(Multimodal Large Language Models)は、画像やビデオのディープフェイクの検出において、強力な一般化を示している。 我々は,音声深度検出のためのMLLMの可能性を探究することを目的としている。
  論文  参考訳（メタデータ） (2026-01-02T18:17:22Z)
• Measuring the Robustness of Audio Deepfake Detectors [59.09338266364506]
  この研究は、16の一般的な汚職に対する10のオーディオディープフェイク検出モデルの頑健さを体系的に評価する。 従来のディープラーニングモデルと最先端の基礎モデルの両方を用いて、4つのユニークな観察を行う。
  論文  参考訳（メタデータ） (2025-03-21T23:21:17Z)
• DiMoDif: Discourse Modality-information Differentiation for Audio-visual Deepfake Detection and Localization [13.840950434728533]
  DiMoDifはオーディオ・ビジュアル・ディープフェイク検出フレームワークである。 音声の機械知覚におけるモダリティ間差異を利用する。 時間的にディープフェイクの偽造を特定できる。
  論文  参考訳（メタデータ） (2024-11-15T13:47:33Z)
• Where are we in audio deepfake detection? A systematic analysis over generative and detection models [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供する。 従来のモデルベース検出システムと基礎モデルベース検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
  デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。 オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。 本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T18:45:01Z)
• Training-Free Deepfake Voice Recognition by Leveraging Large-Scale Pre-Trained Models [52.04189118767758]
  一般化は、現在のオーディオディープフェイク検出器の主な問題である。 本稿では,オーディオディープフェイク検出のための大規模事前学習モデルの可能性について検討する。
  論文  参考訳（メタデータ） (2024-05-03T15:27:11Z)
• What to Remember: Self-Adaptive Continual Learning for Audio Deepfake Detection [53.063161380423715]
  既存の検出モデルは、既知のディープフェイク音声を識別することに成功したが、新しい攻撃タイプに遭遇する際には苦労している。 本稿では,Radian Weight Modification (RWM) と呼ばれる連続的な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T09:52:17Z)
• MIS-AVoiDD: Modality Invariant and Specific Representation for Audio-Visual Deepfake Detection [4.659427498118277]
  新しいタイプのディープフェイクが登場し、オーディオまたは視覚的モーダルが操作された。 既存のマルチモーダルディープフェイク検出器は、しばしばビデオからのオーディオとビジュアルストリームの融合に基づいている。 本稿では,マルチモーダルディープフェイク検出のための音声と視覚ストリームの融合を支援するために,表現レベルでの問題に取り組む。
  論文  参考訳（メタデータ） (2023-10-03T17:43:24Z)
• NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection [50.33525966541906]
  既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。 NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。 我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
  論文  参考訳（メタデータ） (2023-06-12T06:06:05Z)
• Self-supervised Transformer for Deepfake Detection [112.81127845409002]
  現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。 転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。 本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-02T17:44:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。