論文の概要: Explicit Correlation Learning for Generalizable Cross-Modal Deepfake Detection

• arxiv url: http://arxiv.org/abs/2404.19171v1
• Date: Tue, 30 Apr 2024 00:25:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 15:53:21.649517
• Title: Explicit Correlation Learning for Generalizable Cross-Modal Deepfake Detection
• Title（参考訳）: 一般化可能なクロスモーダルディープフェイク検出のための明示的相関学習
• Authors: Cai Yu, Shan Jia, Xiaomeng Fu, Jin Liu, Jiahe Tian, Jiao Dai, Xi Wang, Siwei Lyu, Jizhong Han,
• Abstract要約: 本稿では,様々な生成シナリオに対する深度検出を向上するために,モーダル間相関の可能性について学ぶことを目的とする。 本手法では,コンテンツ情報に基づく相互相関をモデル化した相関蒸留タスクを提案する。 そこで本研究では,多種多種多様深度深度の検出を4世代に分けて評価するクロスモーダル深度データセットを提案する。
• 参考スコア（独自算出の注目度）: 33.20064862916194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rising prevalence of deepfakes, there is a growing interest in developing generalizable detection methods for various types of deepfakes. While effective in their specific modalities, traditional detection methods fall short in addressing the generalizability of detection across diverse cross-modal deepfakes. This paper aims to explicitly learn potential cross-modal correlation to enhance deepfake detection towards various generation scenarios. Our approach introduces a correlation distillation task, which models the inherent cross-modal correlation based on content information. This strategy helps to prevent the model from overfitting merely to audio-visual synchronization. Additionally, we present the Cross-Modal Deepfake Dataset (CMDFD), a comprehensive dataset with four generation methods to evaluate the detection of diverse cross-modal deepfakes. The experimental results on CMDFD and FakeAVCeleb datasets demonstrate the superior generalizability of our method over existing state-of-the-art methods. Our code and data can be found at \url{https://github.com/ljj898/CMDFD-Dataset-and-Deepfake-Detection}.
• Abstract（参考訳）: ディープフェイクの普及に伴い、様々なディープフェイクの一般的な検出方法の開発への関心が高まっている。 特定のモダリティにおいて有効であるが、従来の検出手法は、多様なクロスモーダルなディープフェイクをまたいだ検出の一般化性に対処するには不十分である。 本稿では,様々な生成シナリオに対するディープフェイク検出を強化するために,潜在的なモーダル間相関を明示的に学習することを目的とする。 本手法では,コンテンツ情報に基づく相互相関をモデル化した相関蒸留タスクを提案する。 この戦略は、モデルが単にオーディオと視覚の同期に過度に適合することを防ぐのに役立つ。 さらに,クロスモーダルディープフェイク・データセット (CMDFD) を提案する。 CMDFDおよびFakeAVCelebデータセットによる実験結果から,既存の最先端手法よりも優れた一般化性を示した。 コードとデータは \url{https://github.com/lj898/CMDFD-Dataset-and-Deepfake-Detection} で確認できます。

関連論文リスト

• Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
  デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。 オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。 本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T18:45:01Z)
• DF40: Toward Next-Generation Deepfake Detection [62.073997142001424]
  既存の研究は、ある特定のデータセットで検出器をトレーニングし、他の一般的なディープフェイクデータセットでテストすることで、トップノーチ検出アルゴリズムとモデルを識別する。 しかし、これらの「勝者」は現実の世界に潜む無数の現実的で多様なディープフェイクに取り組むために真に応用できるのだろうか? 我々は,40の異なるディープフェイク技術からなるDF40という,高度に多様なディープフェイク検出データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-19T12:35:02Z)
• Facial Forgery-based Deepfake Detection using Fine-Grained Features [7.378937711027777]
  ディープフェイクによる顔の偽造は、大きなセキュリティリスクを引き起こし、深刻な社会的懸念を引き起こしている。 我々は,詳細な分類問題としてディープフェイク検出を定式化し,それに対する新たなきめ細かな解を提案する。 本手法は, 背景雑音を効果的に抑制し, 様々なスケールの識別特徴を学習することにより, 微妙で一般化可能な特徴を学習し, 深度検出を行う。
  論文  参考訳（メタデータ） (2023-10-10T21:30:05Z)
• CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
  クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。 既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。 顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
  論文  参考訳（メタデータ） (2023-09-30T12:30:25Z)
• Towards Generalizable Deepfake Detection by Primary Region Regularization [52.41801719896089]
  本稿では,新しい正規化の観点から一般化能力を高める。 本手法は, 一次領域マップの静的な位置決めと, 一次領域マスクの動的利用の2段階からなる。 5つのバックボーンを持つDFDC,DF-1.0,Celeb-DFの3種類のディープフェイクデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-07-24T05:43:34Z)
• Learning Pairwise Interaction for Generalizable DeepFake Detection [20.723277551489186]
  DeepFake生成技術の開発は、既知のタイプのDeepFake向けに設計された検出スキームに挑戦している。 我々は,異なる色空間表現からペアワイズ学習と補完情報を利用する,MCX-API(Multi-Channel Xception Attention Pairwise Interaction)を提案する。 実験の結果,提案手法は最先端のDeepfakes検出器よりも一般化可能であることがわかった。
  論文  参考訳（メタデータ） (2023-02-26T10:39:08Z)
• A Continual Deepfake Detection Benchmark: Dataset, Methods, and Essentials [97.69553832500547]
  本稿では, 既知の生成モデルと未知の生成モデルの両方から, 新たなディープフェイク集合に対する連続的なディープフェイク検出ベンチマーク(CDDB)を提案する。 本研究では,連続的なディープラーニング検出問題に対して,連続的な視覚認識で一般的に使用される多クラス漸進学習手法を適応するために,複数のアプローチを利用する。
  論文  参考訳（メタデータ） (2022-05-11T13:07:19Z)
• MD-CSDNetwork: Multi-Domain Cross Stitched Network for Deepfake Detection [80.83725644958633]
  現在のディープフェイク生成法では、偽画像やビデオの周波数スペクトルに識別的アーティファクトが残されている。 MD-CSDNetwork(MD-CSDNetwork)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T14:11:53Z)
• TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning [17.40885531847159]
  ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。 本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。 レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
  論文  参考訳（メタデータ） (2021-05-13T07:31:08Z)
• M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
  Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。 本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。 最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
  論文  参考訳（メタデータ） (2021-04-20T05:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。