論文の概要: WWW: Where, Which and Whatever Enhancing Interpretability in Multimodal Deepfake Detection
- arxiv url: http://arxiv.org/abs/2408.02954v1
- Date: Tue, 6 Aug 2024 04:44:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 14:59:44.454671
- Title: WWW: Where, Which and Whatever Enhancing Interpretability in Multimodal Deepfake Detection
- Title(参考訳): WWW:マルチモーダルディープフェイク検出における解釈可能性の向上
- Authors: Juho Jung, Sangyoun Lee, Jooeon Kang, Yunjin Na,
- Abstract要約: マルチモーダルディープフェイク検出のための最新のベンチマークでは、様々な生成手法を用いてフレーム全体を操作している。
これらのベンチマークは、現実世界のシナリオで提示されるフレーム単位の変更による動的ディープフェイク攻撃を検出するのに苦労している。
ビデオとオーディオの両方で操作されたセグメントを特定することを目的とした新しいクリップレベル評価ベンチマークであるFakeMixを紹介する。
- 参考スコア(独自算出の注目度): 10.770226158965686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: All current benchmarks for multimodal deepfake detection manipulate entire frames using various generation techniques, resulting in oversaturated detection accuracies exceeding 94% at the video-level classification. However, these benchmarks struggle to detect dynamic deepfake attacks with challenging frame-by-frame alterations presented in real-world scenarios. To address this limitation, we introduce FakeMix, a novel clip-level evaluation benchmark aimed at identifying manipulated segments within both video and audio, providing insight into the origins of deepfakes. Furthermore, we propose novel evaluation metrics, Temporal Accuracy (TA) and Frame-wise Discrimination Metric (FDM), to assess the robustness of deepfake detection models. Evaluating state-of-the-art models against diverse deepfake benchmarks, particularly FakeMix, demonstrates the effectiveness of our approach comprehensively. Specifically, while achieving an Average Precision (AP) of 94.2% at the video-level, the evaluation of the existing models at the clip-level using the proposed metrics, TA and FDM, yielded sharp declines in accuracy to 53.1%, and 52.1%, respectively.
- Abstract(参考訳): マルチモーダルディープフェイク検出のための現在のベンチマークは、様々な生成技術を用いてフレーム全体を操作し、ビデオレベルの分類では、過飽和検出精度が94%を超えた。
しかし、これらのベンチマークは、現実世界のシナリオで提示されるフレーム単位の変更による動的ディープフェイク攻撃を検出するのに苦労している。
この制限に対処するために、ビデオとオーディオの両方で操作されたセグメントを特定し、ディープフェイクの起源を知ることを目的とした、クリップレベルの新しい評価ベンチマークであるFakeMixを紹介する。
さらに,新しい評価指標である時間精度(TA)とフレームワイド判別基準(FDM)を提案し,深度検出モデルのロバスト性を評価する。
様々なディープフェイクベンチマーク、特にFakeMixに対する最先端モデルの評価は、我々のアプローチの有効性を包括的に示す。
具体的には、ビデオレベルでの平均精度(AP)が94.2%に達する一方で、提案した指標であるTAとFDMを用いたクリップレベルでの既存モデルの評価は、それぞれ53.1%、52.1%と急激な低下を示した。
関連論文リスト
- CLIPping the Deception: Adapting Vision-Language Models for Universal
Deepfake Detection [3.849401956130233]
広汎な深度検出のための最近の適応手法と組み合わせた事前学習型視覚言語モデル(VLM)の有効性について検討する。
ディープフェイク検出にCLIPを適用するために、単一のデータセット(ProGAN)のみを使用します。
シンプルで軽量なPrompt Tuningベースの適応戦略は、以前のSOTAアプローチよりも5.01% mAPと6.61%の精度で優れている。
論文 参考訳(メタデータ) (2024-02-20T11:26:42Z) - Facial Forgery-based Deepfake Detection using Fine-Grained Features [7.378937711027777]
ディープフェイクによる顔の偽造は、大きなセキュリティリスクを引き起こし、深刻な社会的懸念を引き起こしている。
我々は,詳細な分類問題としてディープフェイク検出を定式化し,それに対する新たなきめ細かな解を提案する。
本手法は, 背景雑音を効果的に抑制し, 様々なスケールの識別特徴を学習することにより, 微妙で一般化可能な特徴を学習し, 深度検出を行う。
論文 参考訳(メタデータ) (2023-10-10T21:30:05Z) - Improving Cross-dataset Deepfake Detection with Deep Information
Decomposition [57.284370468207214]
ディープフェイク技術は、セキュリティと社会的信頼に重大な脅威をもたらす。
既存の検出方法は、クロスデータセットのシナリオに直面した場合、パフォーマンスの急激な低下に悩まされる。
本稿では,深層情報分解(DID)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-30T12:30:25Z) - Towards Generalizable Deepfake Detection by Primary Region
Regularization [52.41801719896089]
本稿では,新しい正規化の観点から一般化能力を高める。
本手法は, 一次領域マップの静的な位置決めと, 一次領域マスクの動的利用の2段階からなる。
5つのバックボーンを持つDFDC,DF-1.0,Celeb-DFの3種類のディープフェイクデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-07-24T05:43:34Z) - DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。
DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。
DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
論文 参考訳(メタデータ) (2023-07-04T01:34:41Z) - Assessment Framework for Deepfake Detection in Real-world Situations [13.334500258498798]
ディープラーニングに基づくディープフェイク検出手法は優れた性能を示した。
様々な画像処理操作と典型的なワークフロー歪みが検出精度に与える影響は, 体系的に測定されていない。
より現実的な環境下での学習に基づくディープフェイク検出の性能を評価するために,より信頼性の高い評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-12T19:09:22Z) - A Continual Deepfake Detection Benchmark: Dataset, Methods, and
Essentials [97.69553832500547]
本稿では, 既知の生成モデルと未知の生成モデルの両方から, 新たなディープフェイク集合に対する連続的なディープフェイク検出ベンチマーク(CDDB)を提案する。
本研究では,連続的なディープラーニング検出問題に対して,連続的な視覚認識で一般的に使用される多クラス漸進学習手法を適応するために,複数のアプローチを利用する。
論文 参考訳(メタデータ) (2022-05-11T13:07:19Z) - On Improving Cross-dataset Generalization of Deepfake Detectors [1.0152838128195467]
ディープフェイクによる顔の操作は、大きなセキュリティリスクを引き起こし、深刻な社会的懸念を引き起こしている。
我々は、教師付きおよび強化学習(RL)のハイブリッド組み合わせとして深層偽検出を定式化し、そのクロスデータセット一般化性能を改善する。
提案手法は,ディープフェイク検出器のクロスデータセット一般化における既存の研究よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-04-08T20:34:53Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳(メタデータ) (2022-03-04T09:08:50Z) - G-DetKD: Towards General Distillation Framework for Object Detectors via
Contrastive and Semantic-guided Feature Imitation [49.421099172544196]
そこで本研究では,すべてのピラミッドレベルにまたがる特徴ペア間のソフトマッチングを自動的に行う,意味誘導型特徴模倣手法を提案する。
また,異なる特徴領域間の関係で符号化された情報を効果的に捉えるために,コントラスト蒸留を導入する。
本手法は,(1)フレームワークのコンポーネントを別々に使用した場合に,既存の検出KD技術よりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2021-08-17T07:44:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。