論文の概要: Locate and Verify: A Two-Stream Network for Improved Deepfake Detection

• arxiv url: http://arxiv.org/abs/2309.11131v1
• Date: Wed, 20 Sep 2023 08:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 16:52:59.827347
• Title: Locate and Verify: A Two-Stream Network for Improved Deepfake Detection
• Title（参考訳）: Locate and Verify: ディープフェイク検出を改善する2ストリームネットワーク
• Authors: Chao Shuai, Jieming Zhong, Shuang Wu, Feng Lin, Zhibo Wang, Zhongjie Ba, Zhenguang Liu, Lorenzo Cavallaro, Kui Ren
• Abstract要約: 現在のディープフェイク検出法は一般に一般化が不十分である。 本稿では,モデルがエビデンスを抽出する潜在的領域を効果的に拡大する,革新的な2ストリームネットワークを提案する。 また、パッチレベルの偽位置アノテーションを推定するための半教師付きパッチ類似性学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 33.50963446256726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deepfake has taken the world by storm, triggering a trust crisis. Current deepfake detection methods are typically inadequate in generalizability, with a tendency to overfit to image contents such as the background, which are frequently occurring but relatively unimportant in the training dataset. Furthermore, current methods heavily rely on a few dominant forgery regions and may ignore other equally important regions, leading to inadequate uncovering of forgery cues. In this paper, we strive to address these shortcomings from three aspects: (1) We propose an innovative two-stream network that effectively enlarges the potential regions from which the model extracts forgery evidence. (2) We devise three functional modules to handle the multi-stream and multi-scale features in a collaborative learning scheme. (3) Confronted with the challenge of obtaining forgery annotations, we propose a Semi-supervised Patch Similarity Learning strategy to estimate patch-level forged location annotations. Empirically, our method demonstrates significantly improved robustness and generalizability, outperforming previous methods on six benchmarks, and improving the frame-level AUC on Deepfake Detection Challenge preview dataset from 0.797 to 0.835 and video-level AUC on CelebDF$\_$v1 dataset from 0.811 to 0.847. Our implementation is available at https://github.com/sccsok/Locate-and-Verify.
• Abstract（参考訳）: ディープフェイクは世界を嵐で制圧し、信頼危機を引き起こした。 現在のディープフェイク検出法は一般的に一般化に不適であり、トレーニングデータセットで頻繁に発生するが比較的重要でない背景などの画像内容に過度に適合する傾向にある。 さらに、現在の手法はいくつかの支配的な偽造地域に大きく依存しており、同様に重要な地域を無視する可能性がある。 本稿では,(1)モデルが偽造証拠を抽出した潜在領域を効果的に拡大する,革新的な2ストリームネットワークを提案する。 2) 協調学習方式において, マルチストリーム機能とマルチスケール機能を扱う3つの機能モジュールを考案する。 3) 偽造アノテーション取得の課題に直面するため, パッチレベルの偽造アノテーションを推定するために, 半教師付きパッチ類似性学習戦略を提案する。 提案手法は,6つのベンチマークで従来手法を上回り,Deepfake Detection Challengeプレビューデータセットの0.797から0.835までのフレームレベルAUC,CelebDF$\_$v1データセットの0.811から0.847までのビデオレベルAUCを改良した。 私たちの実装はhttps://github.com/sccsok/locate-and-verifyで利用可能です。

関連論文リスト

• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• DFIL: Deepfake Incremental Learning by Exploiting Domain-invariant Forgery Clues [32.045504965382015]
  現在のディープフェイク検出モデルは、大規模なデータセットでトレーニングすることで、一般的に偽画像を認識することができる。 検出モデルの精度は、データ分布の違いにより、新しいディープフェイク法によって生成された画像に対して著しく低下する。 本稿では,ディープフェイク検出モデルの一般化を改善するための新たなインクリメンタルラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T07:02:26Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Towards Generalizable Deepfake Detection by Primary Region Regularization [52.41801719896089]
  本稿では,新しい正規化の観点から一般化能力を高める。 本手法は, 一次領域マップの静的な位置決めと, 一次領域マスクの動的利用の2段階からなる。 5つのバックボーンを持つDFDC,DF-1.0,Celeb-DFの3種類のディープフェイクデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-07-24T05:43:34Z)
• DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
  ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。 DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。 DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
  論文  参考訳（メタデータ） (2023-07-04T01:34:41Z)
• Exploring the Relationship between Samples and Masks for Robust Defect Localization [1.90365714903665]
  本稿では,モデルプロセスなしで欠陥パターンを直接検出する一段階フレームワークを提案する。 欠陥の位置を示す可能性のある明示的な情報は、直接マッピングを学ぶことを避けるために意図的に除外される。 その結果,提案手法はF1-ScoreのSOTA法よりも2.9%高い値を示した。
  論文  参考訳（メタデータ） (2023-06-19T06:41:19Z)
• Deepfake Detection via Joint Unsupervised Reconstruction and Supervised Classification [25.84902508816679]
  本稿では,再建作業と分類作業を同時に行うディープフェイク検出手法を提案する。 この方法は、あるタスクによって学習された情報を他のタスクと共有する。 提案手法は,一般的に使用されている3つのデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T05:44:26Z)
• A Unified Model for Multi-class Anomaly Detection [33.534990722449066]
  UniADは、統一されたフレームワークで複数のクラスに対して異常検出を行う。 MVTec-ADおよびCIFAR-10データセットを用いて,本アルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2022-06-08T06:05:09Z)
• Multi-attentional Deepfake Detection [79.80308897734491]
  ディープフェイクによる顔の偽造はインターネットに広まり、深刻な社会的懸念を引き起こしている。 新たなマルチアテンテーショナルディープフェイク検出ネットワークを提案する。 具体的には,1)ネットワークを異なる局所的部分へ配置するための複数の空間的注意ヘッド,2)浅い特徴の微妙なアーティファクトをズームするテクスチャ的特徴拡張ブロック,3)低レベルなテクスチャ特徴と高レベルなセマンティクス特徴をアグリゲートする,の3つの構成要素からなる。
  論文  参考訳（メタデータ） (2021-03-03T13:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。