論文の概要: Less is More: Modality-Decoupling for General AIGC Audio-Video Detection
- arxiv url: http://arxiv.org/abs/2607.25543v1
- Date: Tue, 28 Jul 2026 10:23:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.796628
- Title: Less is More: Modality-Decoupling for General AIGC Audio-Video Detection
- Title（参考訳）: AIGCオーディオビデオ検出のためのモダリティデカップリング
- Abstract要約: ジェネレーティブAIは、人間中心のディープフェイクを超えて、オーディオ視覚の偽造を急速に拡大した。
既存のAIGC検出手法では、音声-視覚的コンテンツ対応を仮定し、モーダル不整合を見極めることで偽物を識別する。
そこで我々は,DAV-Detを提案する。DAV-Detは分離された音声視覚AIGC検出システムで,各モードから法医学的証拠を独立にモデル化する。
- 参考スコア（独自算出の注目度）: 32.46260205509194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI has rapidly expanded audio-visual forgery beyond human-centric deepfakes into general scenes. Existing AIGC detection methods assume audio-visual content correspondence, identifying forgeries by spotting cross-modal inconsistencies. However, we empirically find that this assumption does not consistently hold in general scenarios. We argue that, for general audio-visual AIGC detection, decision-level fusion is a more robust alternative to feature-level fusion. Therefore, we propose DAV-Det, a decoupled audio-visual AIGC detection system that independently models forensic evidence from each modality. The visual detector leverages multi-granularity representations at global, patch, and segment levels to capture spatial forgery cues, while the audio detector exploits both temporal and spectral irregularities via a gated temporal-spectral dual-branch architecture to model acoustic artifacts. Our method ranks 1st in the General AIGC Audio-Video Detection Challenge of the IJCAI-ECAI 2026 DDL 2.0 Workshop, with a final score of 0.8460. Code is available at https://github.com/tuffy-studio/DAV-Det.
- Abstract（参考訳）: ジェネレーティブAIは、人間中心のディープフェイクを超えて、オーディオ視覚の偽造を急速に拡大した。
既存のAIGC検出手法では、音声-視覚的コンテンツ対応を仮定し、モーダル不整合を見極めることで偽物を識別する。
しかし、この仮定が一般的なシナリオでは一貫して成り立たないことを実証的に見出す。
一般の音声視覚型AIGC検出では、決定レベルの融合が機能レベルの融合のより堅牢な代替手段である、と我々は主張する。
そこで我々は,DAV-Detを提案する。DAV-Detは分離された音声視覚AIGC検出システムで,各モードから法医学的証拠を独立にモデル化する。
視覚検出器は、グローバル、パッチ、セグメントレベルでの多粒度表現を利用して空間的偽造の手がかりを捉え、オーディオ検出器は、有声時間スペクトル二重ブランチアーキテクチャを用いて時間的およびスペクトル的不規則性の両方を利用して音響アーチファクトをモデル化する。
IJCAI-ECAI 2026 DDL 2.0 Workshopの一般AIGCオーディオビデオ検出チャレンジでは、最終スコアが0.8460である。
コードはhttps://github.com/tuffy-studio/DAV-Det.comで入手できる。
関連論文リスト
- Reasoning-Aware AIGC Detection via Alignment and Reinforcement [55.09684020007737]
REVEALは、分類の前に解釈可能な推論チェーンを生成するフレームワークである。
複数のベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-04-21T07:29:55Z) - Leave No Stone Unturned: Uncovering Holistic Audio-Visual Intrinsic Coherence for Deepfake Detection [27.756028843178708]
生成AIは、個人のセキュリティと社会的信頼に対する脅威を強化する、超現実的なオーディオ視覚的ディープフェイクを可能にした。
既存のディープフェイク検出器の多くは、ユニモーダルなアーティファクトやオーディオと視覚の相違に依存しており、両方の情報源を共同で活用することができない。
我々は、頑健で一般化可能な検出は、本質的な音声-視覚的コヒーレンスをモダリティ内および全範囲に根ざすべきであると論じている。
我々は,現在最先端の商用発電機からのテキスト・ツー・ビデオ・フォージェリーと画像・ビデオ・フォージェリーを併用した高忠実なオーディオ・ビジュアル・ディープフェイク・データセットであるHiFi-AVDFを紹介する。
論文 参考訳（メタデータ） (2026-03-25T05:44:25Z) - Leveraging large multimodal models for audio-video deepfake detection: a pilot study [20.17103408581687]
AV-LMMDetectは、教師付き微調整(SFT)大型マルチモーダルモデルで、AVDを誘導するye/no分類として、"このビデオは本物か偽なのか?
Qwen 2.5 Omni上に構築され、ディープフェイク検出のためにオーディオストリームとビジュアルストリームを共同で分析し、軽量なLoRAアライメントとオーディオ-ビジュアルエンコーダフルチューニングの2段階でトレーニングされている。
FakeAVCeleb と Mavos-DD では、AV-LMMDetect が以前の手法にマッチしたり、超えたりして、Mavos-DD データセットに新しい技術状態を設定する。
論文 参考訳（メタデータ） (2026-02-25T04:39:08Z) - AVFakeBench: A Comprehensive Audio-Video Forgery Detection Benchmark for AV-LMMs [13.950397580491666]
AVFakeBenchは,初の包括的オーディオビデオ偽造検出ベンチマークである。
AVFakeBenchには、慎重に12Kのオーディオビデオ質問が含まれており、7種類の偽造と4レベルのアノテーションを含んでいる。
AVFakeBench上での11の音声映像大言語モデル(AV-LMM)と2つの一般的な検出手法を評価する。
論文 参考訳（メタデータ） (2025-11-26T10:33:12Z) - DAVID-XR1: Detecting AI-Generated Videos with Explainable Reasoning [58.70446237944036]
DAVID-Xは、AI生成ビデオに詳細な欠陥レベル、時間空間アノテーションと有理書を組み合わせた最初のデータセットである。
DAVID-XR1は、視覚的推論の解釈可能な連鎖を提供するために設計されたビデオ言語モデルである。
以上の結果から,AI生成ビデオコンテンツの信頼性確認のための説明可能な検出手法が期待できることを示す。
論文 参考訳（メタデータ） (2025-06-13T13:39:53Z) - Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。
既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。
タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
論文 参考訳（メタデータ） (2023-09-13T05:05:47Z) - TranssionADD: A multi-frame reinforcement based sequence tagging model
for audio deepfake detection [11.27584658526063]
第2回Audio Deepfake Detection Challenge (ADD 2023)は、ディープフェイク音声の検出と分析を目的としている。
本稿では,モデルロバストネスと音声セグメント出力の解法として,新しいTranssionADDシステムを提案する。
提案システムの有効性とロバスト性を実証し, トラック2で2位となった。
論文 参考訳（メタデータ） (2023-06-27T05:18:25Z) - Anomalous Sound Detection using Audio Representation with Machine ID
based Contrastive Learning Pretraining [52.191658157204856]
コントラスト学習を用いて、各音声サンプルではなく、各機械IDの音声表現を洗練する。
提案手法では、コントラスト学習を用いて音声表現モデルを事前学習する。
実験の結果,本手法はコントラスト学習や自己教師型分類を用いて最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-04-07T11:08:31Z) - Deep Spectro-temporal Artifacts for Detecting Synthesized Speech [57.42110898920759]
本稿では,トラック1(低品質フェイク音声検出)とトラック2(部分フェイク音声検出)の総合評価を行う。
本稿では, 原時間信号, スペクトル特性, 深層埋没特性を用いて, 分光時相アーティファクトを検出した。
我々はそれぞれ1番線と2番線で4位と5位にランクインした。
論文 参考訳（メタデータ） (2022-10-11T08:31:30Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-03-04T09:08:50Z) - A Multi-View Approach To Audio-Visual Speaker Verification [38.9710777250597]
本研究では,音声視覚による話者検証手法について検討する。
voxceleb1データセットの最低av等しいエラーレート(eer)は0.7%である。
この新しいアプローチは、クロスモーダル検証の困難なテスト条件において、voxceleb1のeerを28%達成する。
論文 参考訳（メタデータ） (2021-02-11T22:29:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。