論文の概要: Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture

• arxiv url: http://arxiv.org/abs/2408.12791v1
• Date: Fri, 23 Aug 2024 01:53:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 16:19:03.057909
• Title: Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture
• Title（参考訳）: オープンセットディープフェイク検出:フォルジェリースタイル混合を用いたパラメータ効率の良い適応法
• Authors: Chenqi Kong, Anwei Luo, Peijun Bao, Haoliang Li, Renjie Wan, Zengwei Zheng, Anderson Rocha, Alex C. Kot,
• Abstract要約: 本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
• 参考スコア（独自算出の注目度）: 58.60915132222421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-set face forgery detection poses significant security threats and presents substantial challenges for existing detection models. These detectors primarily have two limitations: they cannot generalize across unknown forgery domains and inefficiently adapt to new data. To address these issues, we introduce an approach that is both general and parameter-efficient for face forgery detection. It builds on the assumption that different forgery source domains exhibit distinct style statistics. Previous methods typically require fully fine-tuning pre-trained networks, consuming substantial time and computational resources. In turn, we design a forgery-style mixture formulation that augments the diversity of forgery source domains, enhancing the model's generalizability across unseen domains. Drawing on recent advancements in vision transformers (ViT) for face forgery detection, we develop a parameter-efficient ViT-based detection model that includes lightweight forgery feature extraction modules and enables the model to extract global and local forgery clues simultaneously. We only optimize the inserted lightweight modules during training, maintaining the original ViT structure with its pre-trained ImageNet weights. This training strategy effectively preserves the informative pre-trained knowledge while flexibly adapting the model to the task of Deepfake detection. Extensive experimental results demonstrate that the designed model achieves state-of-the-art generalizability with significantly reduced trainable parameters, representing an important step toward open-set Deepfake detection in the wild.
• Abstract（参考訳）: オープンセットの顔偽造検出は、重大なセキュリティ上の脅威を生じさせ、既存の検出モデルに対して重大な課題を提起する。 これらの検出器は主に2つの制限がある:それらは未知の偽ドメインをまたいで一般化することができず、新しいデータに非効率に適応できない。 これらの問題に対処するため,顔偽造検出に汎用かつパラメータ効率のよい手法を提案する。 これは、異なるフォージェリーソースドメインが異なるスタイル統計を示すという仮定に基づいている。 従来の手法では、訓練済みのネットワークを完全に調整し、かなりの時間と計算資源を消費する。 そこで,本研究では,偽源領域の多様性を増大させ,未知領域間のモデルの一般化性を向上するフォージェリー・ミックス・フォーミュレーションを設計する。 顔偽造検出のための視覚変換器(ViT)の最近の進歩に基づき、軽量な偽造特徴抽出モジュールを含むパラメータ効率の高いViTベースの検出モデルを開発し、グローバルおよびローカルな偽造手がかりを同時に抽出できるようにする。 トレーニング中に挿入された軽量モジュールのみを最適化し、トレーニング済みのImageNet重みでオリジナルのViT構造を維持します。 この訓練戦略は、ディープフェイク検出のタスクにモデルを柔軟に適応させつつ、情報的事前学習された知識を効果的に保存する。 大規模な実験結果から, 設計したモデルは, 訓練可能なパラメータを著しく減らし, 野生でのDeepfake検出に向けた重要なステップとして, 最先端の一般化性を達成できることが示唆された。

関連論文リスト

• Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
  既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。 本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
  論文  参考訳（メタデータ） (2024-11-23T19:10:32Z)
• MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
  ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。 ViT法はトランスの表現性を生かし,優れた検出性能を実現する。 この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
  論文  参考訳（メタデータ） (2024-04-12T13:02:08Z)
• Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
  適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。 FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
  論文  参考訳（メタデータ） (2023-09-20T06:51:11Z)
• S-Adapter: Generalizing Vision Transformer for Face Anti-Spoofing with Statistical Tokens [45.06704981913823]
  Face Anti-Spoofing (FAS) は、スプーフされた顔を表示することによって、顔認識システムに侵入しようとする悪意のある試みを検出することを目的としている。 本稿では,局所的なトークンヒストグラムから局所的な識別や統計情報を収集する新しい統計適応器(S-Adapter)を提案する。 統計的トークンの一般化をさらに改善するために,新しいトークンスタイル正規化(TSR)を提案する。 提案したS-AdapterとTSRは、ゼロショットと少数ショットのクロスドメインテストの両方において、いくつかのベンチマークテストにおいて、最先端の手法よりも優れた、大きなメリットをもたらすことを示した。
  論文  参考訳（メタデータ） (2023-09-07T22:36:22Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection [54.76993389109327]
  教師なし異常検出は、通常のデータのみをトレーニングすることで、目に見えない異常を検出するモデルを構築することを目的としている。 本稿では,これらの課題に対処するために,自己教師付き学習(AMSL)を用いた適応記憶ネットワーク(Adaptive Memory Network)を提案する。 AMSLには、一般的な正規パターンを学ぶための自己教師付き学習モジュールと、リッチな特徴表現を学ぶための適応型メモリ融合モジュールが組み込まれている。
  論文  参考訳（メタデータ） (2022-01-03T03:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。