論文の概要: MIS-AVoiDD: Modality Invariant and Specific Representation for Audio-Visual Deepfake Detection

• arxiv url: http://arxiv.org/abs/2310.02234v2
• Date: Fri, 13 Oct 2023 23:43:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 22:46:56.856870
• Title: MIS-AVoiDD: Modality Invariant and Specific Representation for Audio-Visual Deepfake Detection
• Title（参考訳）: MIS-AVoiDD:オーディオ・ビジュアル・ディープフェイク検出のためのモダリティ不変と特殊表現
• Authors: Vinaya Sree Katamneni and Ajita Rattani
• Abstract要約: 新しいタイプのディープフェイクが登場し、オーディオまたは視覚的モーダルが操作された。 既存のマルチモーダルディープフェイク検出器は、しばしばビデオからのオーディオとビジュアルストリームの融合に基づいている。 本稿では,マルチモーダルディープフェイク検出のための音声と視覚ストリームの融合を支援するために,表現レベルでの問題に取り組む。
• 参考スコア（独自算出の注目度）: 4.659427498118277
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deepfakes are synthetic media generated using deep generative algorithms and have posed a severe societal and political threat. Apart from facial manipulation and synthetic voice, recently, a novel kind of deepfakes has emerged with either audio or visual modalities manipulated. In this regard, a new generation of multimodal audio-visual deepfake detectors is being investigated to collectively focus on audio and visual data for multimodal manipulation detection. Existing multimodal (audio-visual) deepfake detectors are often based on the fusion of the audio and visual streams from the video. Existing studies suggest that these multimodal detectors often obtain equivalent performances with unimodal audio and visual deepfake detectors. We conjecture that the heterogeneous nature of the audio and visual signals creates distributional modality gaps and poses a significant challenge to effective fusion and efficient performance. In this paper, we tackle the problem at the representation level to aid the fusion of audio and visual streams for multimodal deepfake detection. Specifically, we propose the joint use of modality (audio and visual) invariant and specific representations. This ensures that the common patterns and patterns specific to each modality representing pristine or fake content are preserved and fused for multimodal deepfake manipulation detection. Our experimental results on FakeAVCeleb and KoDF audio-visual deepfake datasets suggest the enhanced accuracy of our proposed method over SOTA unimodal and multimodal audio-visual deepfake detectors by $17.8$% and $18.4$%, respectively. Thus, obtaining state-of-the-art performance.
• Abstract（参考訳）: ディープフェイク(Deepfakes)は、ディープ・ジェネレーティブ・アルゴリズムを用いて生成される合成メディアであり、深刻な社会的・政治的脅威を生じさせている。 顔の操作や合成音声以外にも、近年、音声や視覚の操作によって新しいタイプのディープフェイクが登場している。 本研究では,マルチモーダル・ビジュアル・ディープフェイク・ディテクターの新たな世代について検討し,マルチモーダル操作検出のための音声・視覚データに着目した。 既存のマルチモーダル(オーディオ-視覚)ディープフェイク検出器は、しばしばビデオからのオーディオとビジュアルストリームの融合に基づいている。 既存の研究では、これらのマルチモーダル検出器は、ユニモーダルオーディオとビジュアルディープフェイク検出器と同等の性能が得られることが示されている。 音声信号と視覚信号の異質性は分布的モダリティギャップを生じさせ,効率的な融合と効率的な性能にとって大きな課題となると推測する。 本稿では,マルチモーダルディープフェイク検出のための音声と視覚ストリームの融合を支援するために,表現レベルでの問題に取り組む。 具体的には、モーダリティ(音響および視覚)不変量と特定の表現の併用を提案する。 これにより、プリスタンまたはフェイクコンテンツを表す各モダリティに特有の共通パターンやパターンが保存され、マルチモーダルディープフェイク操作検出のために融合される。 FakeAVCelebとKoDFオーディオビジュアルディープフェイクデータセットの実験結果から,SOTAユニモーダルとマルチモーダルオーディオビジュアルディープフェイク検出器をそれぞれ17.8$%と18.4$%で比較することにより,提案手法の精度が向上することが示唆された。 したがって、最先端のパフォーマンスを得る。

関連論文リスト

• Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
  デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。 オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。 本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T18:45:01Z)
• AV-Lip-Sync+: Leveraging AV-HuBERT to Exploit Multimodal Inconsistency for Video Deepfake Detection [32.502184301996216]
  マルチモーダル操作(オーディオ・ヴィジュアル・ディープフェイクとも呼ばれる)は、一方的なディープフェイク検出器がマルチメディアコンテンツの偽造を検出するのを困難にしている。 従来は、一様ビデオ法則を主に採用し、教師付き事前訓練を用いて偽造検出を行った。 本研究では,マルチモーダル自己教師付き学習(SSL)機能抽出器に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-05T18:35:03Z)
• AVTENet: Audio-Visual Transformer-based Ensemble Network Exploiting Multiple Experts for Video Deepfake Detection [53.448283629898214]
  近年の超現実的なディープフェイクビデオの普及は、オーディオと視覚の偽造の脅威に注意を向けている。 AI生成のフェイクビデオの検出に関するこれまでのほとんどの研究は、視覚的モダリティまたはオーディオ的モダリティのみを使用していた。 音響操作と視覚操作の両方を考慮したAVTENet(Audio-Visual Transformer-based Ensemble Network)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-19T19:01:26Z)
• Integrating Audio-Visual Features for Multimodal Deepfake Detection [33.51027054306748]
  Deepfakesは、画像やビデオがデジタル修正されたAI生成メディアである。 本稿では,細粒度深度識別とバイナリ分類を組み合わせたディープフェイク検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-05T18:19:56Z)
• DF-TransFusion: Multimodal Deepfake Detection via Lip-Audio Cross-Attention and Facial Self-Attention [13.671150394943684]
  本稿では,ディープフェイク検出タスクのための音声とビデオの同時処理を目的とした,新しいマルチモーダルオーディオ・ビデオ・フレームワークを提案する。 本モデルでは,細調整VGG-16ネットワークを介して視覚的手がかりを抽出しながら,入力音声による唇の同期に重きを置いている。
  論文  参考訳（メタデータ） (2023-09-12T18:37:05Z)
• NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection [50.33525966541906]
  既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。 NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。 我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
  論文  参考訳（メタデータ） (2023-06-12T06:06:05Z)
• Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
  本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。 我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。 本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-06T20:51:40Z)
• Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
  既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-03-04T09:08:50Z)
• M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
  Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。 本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。 最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
  論文  参考訳（メタデータ） (2021-04-20T05:43:44Z)
• Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using Affective Cues [75.1731999380562]
  本稿では,実・偽のディープフェイクマルチメディアコンテンツを検出する学習手法を提案する。 我々は,同じビデオから2つのオーディオと視覚の類似性を抽出し,解析する。 我々は,いくつかのSOTAディープフェイク検出手法との比較を行い,DFDCでは84.4%,DF-TIMITデータセットでは96.6%の動画AUCを報告した。
  論文  参考訳（メタデータ） (2020-03-14T22:07:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。