論文の概要: Fact or Fake? Assessing the Role of Deepfake Detectors in Multimodal Misinformation Detection
- arxiv url: http://arxiv.org/abs/2602.01854v1
- Date: Mon, 02 Feb 2026 09:28:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:34.041467
- Title: Fact or Fake? Assessing the Role of Deepfake Detectors in Multimodal Misinformation Detection
- Title(参考訳): フェイクかフェイクか?マルチモーダル誤報検出におけるディープフェイク検知器の役割
- Authors: A S M Sharifuzzaman Sagar, Mohammed Bennamoun, Farid Boussaid, Naeha Sharif, Lian Xu, Shaaban Sahmoud, Ali Kishk,
- Abstract要約: 我々は,マルチモーダルな誤情報検出の文脈において,ディープフェイク検出を初めて体系的に解析する。
ディープフェイク検出器は、MMFakeBenchで0.26-0.53、DGM4で0.33-0.49の範囲でF1スコアを達成している。
証拠中心のファクトチェックシステムは最高性能を達成し、MMFakeBenchで約0.81点、DGM4で約0.55点に達した。
- 参考スコア(独自算出の注目度): 24.64785245180038
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In multimodal misinformation, deception usually arises not just from pixel-level manipulations in an image, but from the semantic and contextual claim jointly expressed by the image-text pair. Yet most deepfake detectors, engineered to detect pixel-level forgeries, do not account for claim-level meaning, despite their growing integration in automated fact-checking (AFC) pipelines. This raises a central scientific and practical question: Do pixel-level detectors contribute useful signal for verifying image-text claims, or do they instead introduce misleading authenticity priors that undermine evidence-based reasoning? We provide the first systematic analysis of deepfake detectors in the context of multimodal misinformation detection. Using two complementary benchmarks, MMFakeBench and DGM4, we evaluate: (1) state-of-the-art image-only deepfake detectors, (2) an evidence-driven fact-checking system that performs tool-guided retrieval via Monte Carlo Tree Search (MCTS) and engages in deliberative inference through Multi-Agent Debate (MAD), and (3) a hybrid fact-checking system that injects detector outputs as auxiliary evidence. Results across both benchmark datasets show that deepfake detectors offer limited standalone value, achieving F1 scores in the range of 0.26-0.53 on MMFakeBench and 0.33-0.49 on DGM4, and that incorporating their predictions into fact-checking pipelines consistently reduces performance by 0.04-0.08 F1 due to non-causal authenticity assumptions. In contrast, the evidence-centric fact-checking system achieves the highest performance, reaching F1 scores of approximately 0.81 on MMFakeBench and 0.55 on DGM4. Overall, our findings demonstrate that multimodal claim verification is driven primarily by semantic understanding and external evidence, and that pixel-level artifact signals do not reliably enhance reasoning over real-world image-text misinformation.
- Abstract(参考訳): マルチモーダルな誤報では、画像内のピクセルレベルの操作だけでなく、画像とテキストのペアが共同で表現する意味的および文脈的クレームからも、偽造が生じる。
しかし、ピクセルレベルの偽造物を検出するために設計されたディープフェイク検出器のほとんどは、自動ファクトチェック(AFC)パイプラインの統合が増えているにもかかわらず、クレームレベルの意味を説明できない。
ピクセルレベルの検出器は画像テキストのクレームの検証に有用な信号を提供するのか?
我々は,マルチモーダルな誤情報検出の文脈において,ディープフェイク検出を初めて体系的に解析する。
MMFakeBenchとDGM4の2つの相補的なベンチマークを用いて,(1)最先端画像のみのディープフェイク検出装置,(2)モンテカルロ木探索(MCTS)によるツール誘導検索を行うエビデンス駆動のファクトチェックシステム,(3)検出出力を補助的証拠として注入するハイブリッドファクトチェックシステムの評価を行った。
両方のベンチマークデータセットで、ディープフェイク検出器は、MMFakeBenchで0.26-0.53、DGM4で0.33-0.49の範囲でF1スコアを達成し、事実チェックパイプラインにそれらの予測を組み込むことで、非因果的真正性仮定により、常にパフォーマンスを0.04-0.08 F1に低下させることが示されている。
対照的に、エビデンス中心のファクトチェックシステムは、MMFakeBenchで約0.81点、DGM4で約0.55点のF1スコアを達成している。
全体として,マルチモーダルなクレーム検証は,主にセマンティックな理解と外部のエビデンスによるものであり,画素レベルのアーティファクト信号は実世界の画像テキストの誤情報に対する推論を確実に促進しないことを示す。
関連論文リスト
- DeepfakeBench-MM: A Comprehensive Benchmark for Multimodal Deepfake Detection [52.13851094326683]
先進的な生成AIモデルの誤用は、偽化データの拡散をもたらした。
Mega-MMDFはマルチモーダルディープフェイク検出のための大規模で多種多様で高品質なデータセットである。
DeepfakeBench-MMは、マルチモーダルディープフェイク検出のための最初の統一ベンチマークである。
論文 参考訳(メタデータ) (2025-10-26T10:40:52Z) - Evaluating Deepfake Detectors in the Wild [0.0]
本研究では,最新のディープフェイク検知装置の評価を行い,実世界のシナリオを模倣してディープフェイク検出を行う新しいテスト手法を提案する。
我々の分析によると、ディープフェイクの検出は依然として難しい課題である。
JPEG圧縮や画像強調などの基本的な画像操作は、モデルの性能を著しく低下させる。
論文 参考訳(メタデータ) (2025-07-29T15:17:00Z) - DEFAME: Dynamic Evidence-based FAct-checking with Multimodal Experts [35.952854524873246]
Dynamic Evidence-based FAct-checking with Multimodal Experts (DEFAME)は、オープンドメイン、テキストイメージクレーム検証のためのゼロショットMLLMパイプラインである。
DEFAMEは6段階のプロセスで動作し、ツールと検索深度を動的に選択し、テキストおよび視覚的証拠を抽出し、評価する。
論文 参考訳(メタデータ) (2024-12-13T19:11:18Z) - DF40: Toward Next-Generation Deepfake Detection [62.073997142001424]
既存の研究は、ある特定のデータセットで検出器をトレーニングし、他の一般的なディープフェイクデータセットでテストすることで、トップノーチ検出アルゴリズムとモデルを識別する。
しかし、これらの「勝者」は現実の世界に潜む無数の現実的で多様なディープフェイクに取り組むために真に応用できるのだろうか?
我々は,40の異なるディープフェイク技術からなるDF40という,高度に多様なディープフェイク検出データセットを構築した。
論文 参考訳(メタデータ) (2024-06-19T12:35:02Z) - In Anticipation of Perfect Deepfake: Identity-anchored Artifact-agnostic Detection under Rebalanced Deepfake Detection Protocol [20.667392938528987]
本研究では,バランスの取れたシナリオ下でのストレステスト検出にRDDP(Re Balanced Deepfake Detection Protocol)を導入する。
ID-Minerは,人工物や外観の動作に焦点をあてることで,変装の背後にある人形を識別する検出器である。
論文 参考訳(メタデータ) (2024-05-01T12:48:13Z) - DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。
DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。
DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
論文 参考訳(メタデータ) (2023-07-04T01:34:41Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳(メタデータ) (2021-04-20T05:43:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。