論文の概要: GM-DF: Generalized Multi-Scenario Deepfake Detection

• arxiv url: http://arxiv.org/abs/2406.20078v1
• Date: Fri, 28 Jun 2024 17:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 16:01:13.075193
• Title: GM-DF: Generalized Multi-Scenario Deepfake Detection
• Title（参考訳）: GM-DF:汎用マルチシナリオディープフェイク検出
• Authors: Yingxin Lai, Zitong Yu, Jing Yang, Bin Li, Xiangui Kang, Linlin Shen,
• Abstract要約: 既存の偽造検出は、通常、単一のドメインでのトレーニングモデルのパラダイムに従う。 本稿では,複数の顔偽造検出データセットを共同で訓練した場合のディープフェイク検出モデルの一般化能力について詳しく検討する。
• 参考スコア（独自算出の注目度）: 49.072106087564144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing face forgery detection usually follows the paradigm of training models in a single domain, which leads to limited generalization capacity when unseen scenarios and unknown attacks occur. In this paper, we elaborately investigate the generalization capacity of deepfake detection models when jointly trained on multiple face forgery detection datasets. We first find a rapid degradation of detection accuracy when models are directly trained on combined datasets due to the discrepancy across collection scenarios and generation methods. To address the above issue, a Generalized Multi-Scenario Deepfake Detection framework (GM-DF) is proposed to serve multiple real-world scenarios by a unified model. First, we propose a hybrid expert modeling approach for domain-specific real/forgery feature extraction. Besides, as for the commonality representation, we use CLIP to extract the common features for better aligning visual and textual features across domains. Meanwhile, we introduce a masked image reconstruction mechanism to force models to capture rich forged details. Finally, we supervise the models via a domain-aware meta-learning strategy to further enhance their generalization capacities. Specifically, we design a novel domain alignment loss to strongly align the distributions of the meta-test domains and meta-train domains. Thus, the updated models are able to represent both specific and common real/forgery features across multiple datasets. In consideration of the lack of study of multi-dataset training, we establish a new benchmark leveraging multi-source data to fairly evaluate the models' generalization capacity on unseen scenarios. Both qualitative and quantitative experiments on five datasets conducted on traditional protocols as well as the proposed benchmark demonstrate the effectiveness of our approach.
• Abstract（参考訳）: 既存の顔偽造検出は、通常、単一のドメインでのトレーニングモデルのパラダイムに従い、未知のシナリオや未知の攻撃が発生した場合に、一般化能力が制限される。 本稿では,複数の顔偽造検出データセットを共同で訓練した場合のディープフェイク検出モデルの一般化能力について詳しく検討する。 まず、収集シナリオと生成方法の相違により、モデルが組み合わせデータセット上で直接訓練された場合、検出精度の急激な低下を見出す。 以上の課題に対処するため,GM-DF(Generalized Multi-Scenario Deepfake Detection framework)を提案する。 まず,ドメイン固有の実/偽の特徴抽出のためのハイブリッド・エキスパート・モデリング手法を提案する。 さらに、共通表現については、CLIPを使用して、ドメイン間の視覚的およびテキスト的機能の整合性を改善するために、共通機能を抽出します。 また,マスクを用いた画像再構成機構を導入し,モデルにリッチな偽造情報を取得するよう強制する。 最後に,ドメイン認識型メタ学習戦略を用いてモデルを監督し,一般化能力をさらに強化する。 具体的には、メタテストドメインとメタトレインドメインの分布を強く整合させるために、新しいドメインアライメント損失を設計する。 したがって、更新されたモデルでは、複数のデータセットにまたがる、特定の機能と一般的なリアル/フォージェイ機能の両方を表現できる。 マルチデータセット学習の欠如を考慮し,マルチソースデータを活用した新たなベンチマークを構築し,未知のシナリオにおけるモデルの一般化能力を評価する。 従来のプロトコル上で行った5つのデータセットの質的および定量的な実験と,提案したベンチマークにより,提案手法の有効性が示された。

関連論文リスト

• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• DG-TTA: Out-of-domain medical image segmentation through Domain Generalization and Test-Time Adaptation [43.842694540544194]
  本稿では、ドメインの一般化とテスト時間適応を組み合わせることで、未確認対象領域で事前学習したモデルを再利用するための非常に効果的なアプローチを提案する。 本手法は,事前訓練した全身CTモデルと組み合わせることで,MR画像を高精度に分割できることを実証する。
  論文  参考訳（メタデータ） (2023-12-11T10:26:21Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Deep Multimodal Fusion for Generalizable Person Re-identification [15.250738959921872]
  DMF(ディープ・マルチモーダル・フュージョン)は、個人再識別タスクの一般的なシナリオのためのディープ・マルチモーダル・フュージョン・ネットワークである。 事前学習段階における特徴表現学習を支援するために、リッチな意味知識が導入される。 実世界の分散アライメントのための事前訓練されたモデルを微調整するために、現実的なデータセットが採用されている。
  論文  参考訳（メタデータ） (2022-11-02T07:42:48Z)
• A Novel Mix-normalization Method for Generalizable Multi-source Person Re-identification [49.548815417844786]
  人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。 モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。 ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
  論文  参考訳（メタデータ） (2022-01-24T18:09:38Z)
• Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification [59.326456778057384]
  本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。 また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。 実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2020-12-01T11:38:16Z)
• Multi-Domain Adversarial Feature Generalization for Person Re-Identification [52.835955258959785]
  マルチデータセット特徴一般化ネットワーク(MMFA-AAE)を提案する。 複数のラベル付きデータセットから普遍的なドメイン不変の特徴表現を学習し、それを見えないカメラシステムに一般化することができる。 また、最先端の教師付き手法や教師なしのドメイン適応手法を大きなマージンで超えている。
  論文  参考訳（メタデータ） (2020-11-25T08:03:15Z)
• Generalizable Model-agnostic Semantic Segmentation via Target-specific Normalization [24.14272032117714]
  一般化可能なセマンティックセグメンテーションタスクのための新しいドメイン一般化フレームワークを提案する。 モデルに依存しない学習を利用してドメインシフト問題をシミュレートする。 観測対象領域と観測対象領域間のデータ分散の相違を考慮し、目標固有正規化方式を開発する。
  論文  参考訳（メタデータ） (2020-03-27T09:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。