論文の概要: WWW: Where, Which and Whatever Enhancing Interpretability in Multimodal Deepfake Detection

• arxiv url: http://arxiv.org/abs/2408.02954v1
• Date: Tue, 6 Aug 2024 04:44:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 14:59:44.454671
• Title: WWW: Where, Which and Whatever Enhancing Interpretability in Multimodal Deepfake Detection
• Title（参考訳）: WWW:マルチモーダルディープフェイク検出における解釈可能性の向上
• Authors: Juho Jung, Sangyoun Lee, Jooeon Kang, Yunjin Na,
• Abstract要約: マルチモーダルディープフェイク検出のための最新のベンチマークでは、様々な生成手法を用いてフレーム全体を操作している。 これらのベンチマークは、現実世界のシナリオで提示されるフレーム単位の変更による動的ディープフェイク攻撃を検出するのに苦労している。 ビデオとオーディオの両方で操作されたセグメントを特定することを目的とした新しいクリップレベル評価ベンチマークであるFakeMixを紹介する。
• 参考スコア（独自算出の注目度）: 10.770226158965686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: All current benchmarks for multimodal deepfake detection manipulate entire frames using various generation techniques, resulting in oversaturated detection accuracies exceeding 94% at the video-level classification. However, these benchmarks struggle to detect dynamic deepfake attacks with challenging frame-by-frame alterations presented in real-world scenarios. To address this limitation, we introduce FakeMix, a novel clip-level evaluation benchmark aimed at identifying manipulated segments within both video and audio, providing insight into the origins of deepfakes. Furthermore, we propose novel evaluation metrics, Temporal Accuracy (TA) and Frame-wise Discrimination Metric (FDM), to assess the robustness of deepfake detection models. Evaluating state-of-the-art models against diverse deepfake benchmarks, particularly FakeMix, demonstrates the effectiveness of our approach comprehensively. Specifically, while achieving an Average Precision (AP) of 94.2% at the video-level, the evaluation of the existing models at the clip-level using the proposed metrics, TA and FDM, yielded sharp declines in accuracy to 53.1%, and 52.1%, respectively.
• Abstract（参考訳）: マルチモーダルディープフェイク検出のための現在のベンチマークは、様々な生成技術を用いてフレーム全体を操作し、ビデオレベルの分類では、過飽和検出精度が94%を超えた。 しかし、これらのベンチマークは、現実世界のシナリオで提示されるフレーム単位の変更による動的ディープフェイク攻撃を検出するのに苦労している。 この制限に対処するために、ビデオとオーディオの両方で操作されたセグメントを特定し、ディープフェイクの起源を知ることを目的とした、クリップレベルの新しい評価ベンチマークであるFakeMixを紹介する。 さらに,新しい評価指標である時間精度(TA)とフレームワイド判別基準(FDM)を提案し,深度検出モデルのロバスト性を評価する。 様々なディープフェイクベンチマーク、特にFakeMixに対する最先端モデルの評価は、我々のアプローチの有効性を包括的に示す。 具体的には、ビデオレベルでの平均精度(AP)が94.2%に達する一方で、提案した指標であるTAとFDMを用いたクリップレベルでの既存モデルの評価は、それぞれ53.1%、52.1%と急激な低下を示した。

関連論文リスト

• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• CLIPping the Deception: Adapting Vision-Language Models for Universal Deepfake Detection [3.849401956130233]
  広汎な深度検出のための最近の適応手法と組み合わせた事前学習型視覚言語モデル(VLM)の有効性について検討する。 ディープフェイク検出にCLIPを適用するために、単一のデータセット(ProGAN)のみを使用します。 シンプルで軽量なPrompt Tuningベースの適応戦略は、以前のSOTAアプローチよりも5.01% mAPと6.61%の精度で優れている。
  論文  参考訳（メタデータ） (2024-02-20T11:26:42Z)
• Facial Forgery-based Deepfake Detection using Fine-Grained Features [7.378937711027777]
  ディープフェイクによる顔の偽造は、大きなセキュリティリスクを引き起こし、深刻な社会的懸念を引き起こしている。 我々は,詳細な分類問題としてディープフェイク検出を定式化し,それに対する新たなきめ細かな解を提案する。 本手法は, 背景雑音を効果的に抑制し, 様々なスケールの識別特徴を学習することにより, 微妙で一般化可能な特徴を学習し, 深度検出を行う。
  論文  参考訳（メタデータ） (2023-10-10T21:30:05Z)
• CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
  クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。 既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。 顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
  論文  参考訳（メタデータ） (2023-09-30T12:30:25Z)
• Towards Generalizable Deepfake Detection by Primary Region Regularization [52.41801719896089]
  本稿では,新しい正規化の観点から一般化能力を高める。 本手法は, 一次領域マップの静的な位置決めと, 一次領域マスクの動的利用の2段階からなる。 5つのバックボーンを持つDFDC,DF-1.0,Celeb-DFの3種類のディープフェイクデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-07-24T05:43:34Z)
• DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
  ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。 DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。 DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
  論文  参考訳（メタデータ） (2023-07-04T01:34:41Z)
• Assessment Framework for Deepfake Detection in Real-world Situations [13.334500258498798]
  ディープラーニングに基づくディープフェイク検出手法は優れた性能を示した。 様々な画像処理操作と典型的なワークフロー歪みが検出精度に与える影響は, 体系的に測定されていない。 より現実的な環境下での学習に基づくディープフェイク検出の性能を評価するために,より信頼性の高い評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-12T19:09:22Z)
• A Continual Deepfake Detection Benchmark: Dataset, Methods, and Essentials [97.69553832500547]
  本稿では, 既知の生成モデルと未知の生成モデルの両方から, 新たなディープフェイク集合に対する連続的なディープフェイク検出ベンチマーク(CDDB)を提案する。 本研究では,連続的なディープラーニング検出問題に対して,連続的な視覚認識で一般的に使用される多クラス漸進学習手法を適応するために,複数のアプローチを利用する。
  論文  参考訳（メタデータ） (2022-05-11T13:07:19Z)
• On Improving Cross-dataset Generalization of Deepfake Detectors [1.0152838128195467]
  ディープフェイクによる顔の操作は、大きなセキュリティリスクを引き起こし、深刻な社会的懸念を引き起こしている。 我々は、教師付きおよび強化学習(RL)のハイブリッド組み合わせとして深層偽検出を定式化し、そのクロスデータセット一般化性能を改善する。 提案手法は,ディープフェイク検出器のクロスデータセット一般化における既存の研究よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-08T20:34:53Z)
• Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
  既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-03-04T09:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。