論文の概要: Multi-modal Deepfake Detection and Localization with FPN-Transformer

• arxiv url: http://arxiv.org/abs/2511.08031v1
• Date: Wed, 12 Nov 2025 01:35:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.606757
• Title: Multi-modal Deepfake Detection and Localization with FPN-Transformer
• Title（参考訳）: FPN変換器を用いたマルチモーダルディープフェイク検出と位置決め
• Authors: Chende Zheng, Ruiqi Suo, Zhoulin Ji, Jingyi Deng, Fangbin Yi, Chenhao Lin, Chao Shen,
• Abstract要約: FPN変換器(Feature Pyramid-Transformer)に基づくマルチモーダルディープフェイク検出およびローカライゼーションフレームワークを提案する。 マルチスケールな特徴ピラミッドは、R-TLMブロックと局所的な注意機構によって構築され、コンテキスト間の時間的依存関係の結合解析を可能にする。 我々は,IJCAI'25 DDL-AVベンチマークの試験セットに対するアプローチを評価し,最終スコア0.7535で良好な性能を示した。
• 参考スコア（独自算出の注目度）: 21.022230340898556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of generative adversarial networks (GANs) and diffusion models has enabled the creation of highly realistic deepfake content, posing significant threats to digital trust across audio-visual domains. While unimodal detection methods have shown progress in identifying synthetic media, their inability to leverage cross-modal correlations and precisely localize forged segments limits their practicality against sophisticated, fine-grained manipulations. To address this, we introduce a multi-modal deepfake detection and localization framework based on a Feature Pyramid-Transformer (FPN-Transformer), addressing critical gaps in cross-modal generalization and temporal boundary regression. The proposed approach utilizes pre-trained self-supervised models (WavLM for audio, CLIP for video) to extract hierarchical temporal features. A multi-scale feature pyramid is constructed through R-TLM blocks with localized attention mechanisms, enabling joint analysis of cross-context temporal dependencies. The dual-branch prediction head simultaneously predicts forgery probabilities and refines temporal offsets of manipulated segments, achieving frame-level localization precision. We evaluate our approach on the test set of the IJCAI'25 DDL-AV benchmark, showing a good performance with a final score of 0.7535 for cross-modal deepfake detection and localization in challenging environments. Experimental results confirm the effectiveness of our approach and provide a novel way for generalized deepfake detection. Our code is available at https://github.com/Zig-HS/MM-DDL
• Abstract（参考訳）: GAN(Generative Adversarial Network)と拡散モデルの急速な進歩により、非常にリアルなディープフェイクコンテンツの作成が可能となり、オーディオ視覚領域のデジタル信頼に重大な脅威が生じた。 単モーダル検出法は, 合成媒体の同定の進歩を示す一方で, クロスモーダル相関を活用できないこと, 鍛造セグメントを正確に局所化できないことが, 高度できめ細かな操作に対する実用性を制限している。 そこで我々は,FPN変換器(Feature Pyramid-Transformer, FPN-Transformer)に基づくマルチモーダルディープフェイク検出およびローカライゼーションフレームワークを導入する。 提案手法では,事前学習した自己教師付きモデル(音声はWavLM,ビデオはCLIP)を用いて階層的時間的特徴を抽出する。 マルチスケールな特徴ピラミッドは、R-TLMブロックと局所的な注意機構によって構築され、コンテキスト間の時間的依存関係の結合解析を可能にする。 二分岐予測ヘッドは、同時に偽造確率を予測し、操作されたセグメントの時間オフセットを洗練し、フレームレベルのローカライゼーション精度を達成する。 我々は、IJCAI'25 DDL-AVベンチマークの試験セットに対するアプローチを評価し、最終スコア0.7535で、課題のある環境でのクロスモーダルディープフェイク検出とローカライゼーションに優れた性能を示した。 実験により本手法の有効性が確認され,より一般化されたディープフェイク検出のための新しい方法が提供される。 私たちのコードはhttps://github.com/Zig-HS/MM-DDLで利用可能です。

関連論文リスト

• CAST: Cross-Attentive Spatio-Temporal feature fusion for Deepfake detection [0.0]
  CNNは空間的アーティファクトのキャプチャに有効であり、Transformerは時間的不整合のモデリングに優れている。 本稿では,空間的特徴と時間的特徴を効果的に融合させるために,クロスアテンションを利用した統合CASTモデルを提案する。 我々はFaceForensics++、Celeb-DF、DeepfakeDetectionデータセットを用いてモデルの性能を評価する。
  論文  参考訳（メタデータ） (2025-06-26T18:51:17Z)
• DiMoDif: Discourse Modality-information Differentiation for Audio-visual Deepfake Detection and Localization [13.840950434728533]
  DiMoDifはオーディオ・ビジュアル・ディープフェイク検出フレームワークである。 音声の機械知覚におけるモダリティ間差異を利用する。 時間的にディープフェイクの偽造を特定できる。
  論文  参考訳（メタデータ） (2024-11-15T13:47:33Z)
• Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
  本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。 このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
  論文  参考訳（メタデータ） (2024-08-05T08:35:59Z)
• Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
  デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。 オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。 本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T18:45:01Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• Delving into Sequential Patches for Deepfake Detection [64.19468088546743]
  近年の顔偽造技術は、ほとんど追跡不可能なディープフェイクビデオを生み出しており、悪意のある意図で活用することができる。 従来の研究では、ディープフェイク法にまたがる一般化を追求する上で、局所的な低レベルな手がかりと時間的情報の重要性が指摘されてきた。 本稿では,局所的・時間的変換をベースとしたDeepfake Detectionフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:46:30Z)
• Real-Time Scene Text Detection with Differentiable Binarization and Adaptive Scale Fusion [62.269219152425556]
  セグメンテーションに基づくシーンテキスト検出手法はシーンテキスト検出分野において大きな注目を集めている。 本稿では,二項化処理をセグメンテーションネットワークに統合する分散二項化(DB)モジュールを提案する。 アダプティブ・スケール・フュージョン (ASF) モジュールは, 異なるスケールの特徴を適応的に融合させることにより, スケールのロバスト性を向上させる。
  論文  参考訳（メタデータ） (2022-02-21T15:30:14Z)
• MD-CSDNetwork: Multi-Domain Cross Stitched Network for Deepfake Detection [80.83725644958633]
  現在のディープフェイク生成法では、偽画像やビデオの周波数スペクトルに識別的アーティファクトが残されている。 MD-CSDNetwork(MD-CSDNetwork)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T14:11:53Z)
• Depthwise Non-local Module for Fast Salient Object Detection Using a Single Thread [136.2224792151324]
  本稿では,高速な物体検出のための新しいディープラーニングアルゴリズムを提案する。 提案アルゴリズムは,1つのCPUスレッドと同時に,競合精度と高い推論効率を実現する。
  論文  参考訳（メタデータ） (2020-01-22T15:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。