論文の概要: PUDD: Towards Robust Multi-modal Prototype-based Deepfake Detection

• arxiv url: http://arxiv.org/abs/2406.15921v2
• Date: Sun, 30 Jun 2024 12:04:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 13:01:26.984042
• Title: PUDD: Towards Robust Multi-modal Prototype-based Deepfake Detection
• Title（参考訳）: PUDD:ロバストなマルチモーダルプロトタイプベースディープフェイク検出に向けて
• Authors: Alvaro Lopez Pellcier, Yi Li, Plamen Angelov,
• Abstract要約: 深度検出のためのプロトタイプベース統一フレームワーク(PUDD)を提案する。 PUDDは類似性に基づく検出システムを提供し、入力データをビデオ分類のための既知のプロトタイプと比較し、類似性のあるドロップを分析して、潜在的なディープフェイクや以前は見つからなかったクラスを特定する。 実験の結果, (1) PUDDはCeleb-DFの95.1%の精度, (2) PUDDはトレーニング中の上流タスクとして画像分類を活用し, 推論中の画像分類と深度検出タスクの両方において有望な性能を示した。
• 参考スコア（独自算出の注目度）: 3.824522034247845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deepfake techniques generate highly realistic data, making it challenging for humans to discern between actual and artificially generated images. Recent advancements in deep learning-based deepfake detection methods, particularly with diffusion models, have shown remarkable progress. However, there is a growing demand for real-world applications to detect unseen individuals, deepfake techniques, and scenarios. To address this limitation, we propose a Prototype-based Unified Framework for Deepfake Detection (PUDD). PUDD offers a detection system based on similarity, comparing input data against known prototypes for video classification and identifying potential deepfakes or previously unseen classes by analyzing drops in similarity. Our extensive experiments reveal three key findings: (1) PUDD achieves an accuracy of 95.1% on Celeb-DF, outperforming state-of-the-art deepfake detection methods; (2) PUDD leverages image classification as the upstream task during training, demonstrating promising performance in both image classification and deepfake detection tasks during inference; (3) PUDD requires only 2.7 seconds for retraining on new data and emits 10$^{5}$ times less carbon compared to the state-of-the-art model, making it significantly more environmentally friendly.
• Abstract（参考訳）: ディープフェイク技術は、非常にリアルなデータを生成するため、人間が実際の画像と人工的な画像を区別することは困難である。 近年,ディープラーニングに基づくディープフェイク検出法,特に拡散モデルが進歩している。 しかし、見えない個人、ディープフェイク技術、シナリオを検出する現実世界のアプリケーションに対する需要は増えている。 本稿では,この制限に対処するため,Pepfake Detection (PUDD) のためのプロトタイプベースの統一フレームワークを提案する。 PUDDは類似性に基づく検出システムを提供し、入力データをビデオ分類のための既知のプロトタイプと比較し、類似性のあるドロップを分析して、潜在的なディープフェイクや以前は見つからなかったクラスを特定する。 1) PUDDはCeleb-DFで95.1%の精度を実現し,(2) PUDDはトレーニング中の上流タスクとして画像分類を活用し,推論中の画像分類と深度検出タスクの両方において有望な性能を示す。

関連論文リスト

• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors [24.78672820633581]
  深層生成モデルは、偽情報や著作権侵害に対する懸念を高めながら、驚くほど偽のイメージを作成することができる。 実画像と偽画像とを区別するためにディープフェイク検出技術が開発された。 本稿では,視覚言語モデルとアクシデントチューニング技術を用いて,Antifake Promptと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-26T14:23:45Z)
• CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
  クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。 既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。 顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
  論文  参考訳（メタデータ） (2023-09-30T12:30:25Z)
• DFIL: Deepfake Incremental Learning by Exploiting Domain-invariant Forgery Clues [32.045504965382015]
  現在のディープフェイク検出モデルは、大規模なデータセットでトレーニングすることで、一般的に偽画像を認識することができる。 検出モデルの精度は、データ分布の違いにより、新しいディープフェイク法によって生成された画像に対して著しく低下する。 本稿では,ディープフェイク検出モデルの一般化を改善するための新たなインクリメンタルラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T07:02:26Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• Metamorphic Testing-based Adversarial Attack to Fool Deepfake Detectors [2.0649235321315285]
  ディープフェイク検出技術はディープフェイクメディアを見つけるのに役立つ。 現在のディープフェイク検出モデルは、卓越した精度(>90%)を達成することができる 本研究は、メイクアップを、ディープフェイク検出器を騙す可能性のある敵攻撃として特定する。
  論文  参考訳（メタデータ） (2022-04-19T02:24:30Z)
• An Experimental Evaluation on Deepfake Detection using Deep Face Recognition [0.0]
  ディープラーニングは、ディープフェイク(deepfakes)として知られる非常に現実的なフェイクコンテンツを生み出した。 現在のディープフェイク検出法のほとんどは、2クラス畳み込みニューラルネットワーク(CNN)を用いた偽のイメージやビデオとを区別する二項分類問題と見なされている。 本稿では,異なる損失関数とディープフェイク生成技術を用いて,ディープフェイク識別におけるディープフェイク認識の有効性を徹底的に評価する。
  論文  参考訳（メタデータ） (2021-10-04T18:02:56Z)
• TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning [17.40885531847159]
  ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。 本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。 レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
  論文  参考訳（メタデータ） (2021-05-13T07:31:08Z)
• M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
  Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。 本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。 最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
  論文  参考訳（メタデータ） (2021-04-20T05:43:44Z)
• Diverse Knowledge Distillation for End-to-End Person Search [81.4926655119318]
  人物検索は、画像ギャラリーから特定の人物をローカライズし識別することを目的としている。 最近の手法は2つのグループ、すなわち2段階とエンドツーエンドのアプローチに分類できる。 ボトルネックを解消するために、多様な知識蒸留を備えたシンプルで強力なエンドツーエンドネットワークを提案します。
  論文  参考訳（メタデータ） (2020-12-21T09:04:27Z)
• Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data [64.65952078807086]
  光現実性画像生成は、GAN(Generative Adversarial Network)のブレークスルーにより、新たな品質レベルに達した。 しかし、このようなディープフェイクのダークサイド、すなわち生成されたメディアの悪意ある使用は、視覚的誤報に関する懸念を提起する。 我々は,モデルに人工指紋を導入することによって,深度検出の積極的な,持続可能なソリューションを模索する。
  論文  参考訳（メタデータ） (2020-07-16T16:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。