論文の概要: Face Forgery Detection with Elaborate Backbone

• arxiv url: http://arxiv.org/abs/2409.16945v1
• Date: Wed, 25 Sep 2024 13:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 03:35:11.259626
• Title: Face Forgery Detection with Elaborate Backbone
• Title（参考訳）: Elaborate Backbone を用いた顔偽造検出
• Authors: Zonghui Guo, Yingjie Liu, Jie Zhang, Haiyong Zheng, Shiguang Shan,
• Abstract要約: Face Forgery Detectionは、デジタル顔が本物か偽物かを決定することを目的としている。 以前のFFDモデルは、偽造の手がかりを表現および抽出するために既存のバックボーンを直接使用していた。 本稿では,実顔データセットを用いた自己教師型学習でVTネットワークを活用することで,バックボーンの事前トレーニングを提案する。 次に、多様な偽の手がかりを抽出するバックボーンの能力を強化するために、競争力のあるバックボーンの微調整フレームワークを構築します。
• 参考スコア（独自算出の注目度）: 50.914676786151574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face Forgery Detection (FFD), or Deepfake detection, aims to determine whether a digital face is real or fake. Due to different face synthesis algorithms with diverse forgery patterns, FFD models often overfit specific patterns in training datasets, resulting in poor generalization to other unseen forgeries. This severe challenge requires FFD models to possess strong capabilities in representing complex facial features and extracting subtle forgery cues. Although previous FFD models directly employ existing backbones to represent and extract facial forgery cues, the critical role of backbones is often overlooked, particularly as their knowledge and capabilities are insufficient to address FFD challenges, inevitably limiting generalization. Therefore, it is essential to integrate the backbone pre-training configurations and seek practical solutions by revisiting the complete FFD workflow, from backbone pre-training and fine-tuning to inference of discriminant results. Specifically, we analyze the crucial contributions of backbones with different configurations in FFD task and propose leveraging the ViT network with self-supervised learning on real-face datasets to pre-train a backbone, equipping it with superior facial representation capabilities. We then build a competitive backbone fine-tuning framework that strengthens the backbone's ability to extract diverse forgery cues within a competitive learning mechanism. Moreover, we devise a threshold optimization mechanism that utilizes prediction confidence to improve the inference reliability. Comprehensive experiments demonstrate that our FFD model with the elaborate backbone achieves excellent performance in FFD and extra face-related tasks, i.e., presentation attack detection. Code and models are available at https://github.com/zhenglab/FFDBackbone.
• Abstract（参考訳）: Face Forgery Detection(FFD、ディープフェイク検出)は、デジタル顔が本物か偽物かを判定することを目的としている。 さまざまなフォージェリーパターンを持つ異なる顔合成アルゴリズムのため、FFDモデルはトレーニングデータセットの特定のパターンに過度に適合することが多く、結果として他の目に見えないフォージェリーへの一般化が不十分になる。 この厳しい課題は、FFDモデルが複雑な顔の特徴を表現し、微妙な偽造の手がかりを抽出する能力を持つ必要がある。 以前のFFDモデルは、顔の偽造の手がかりを表現・抽出するために既存のバックボーンを直接使用していたが、特にその知識と能力がFFDの課題に対処するには不十分であり、必然的に一般化を制限しているため、バックボーンの重要な役割は見過ごされがちである。 したがって、バックボーン事前学習の構成を統合して、バックボーン事前学習や微調整から識別結果の推測に至るまで、完全なFFDワークフローを再考することで、実用的なソリューションを求めることが不可欠である。 具体的には、FFDタスクの異なる構成のバックボーンの重要コントリビューションを分析し、実顔データセットの自己教師付き学習でViTネットワークを活用して、バックボーンを事前訓練し、優れた顔表現機能を備えることを提案する。 そして、競争力のある学習メカニズムの中で多様な偽の手がかりを抽出するバックボーンの能力を強化する、競争力のあるバックボーンの微調整フレームワークを構築します。 さらに,予測信頼度を利用して推論信頼性を向上させるしきい値最適化機構を考案した。 包括的実験により、精巧なバックボーンを持つFFDモデルは、FFDおよび追加の顔関連タスク、すなわちプレゼンテーションアタック検出において優れた性能を発揮することが示された。 コードとモデルはhttps://github.com/zhenglab/FFDBackbone.comで入手できる。

関連論文リスト

• Exploring Stronger Transformer Representation Learning for Occluded Person Re-Identification [2.552131151698595]
  我々はトランスフォーマーに基づく人物識別フレームワークであるSSSC-TransReIDを組み合わせた新しい自己監督・監督手法を提案した。 我々は、ネガティブなサンプルや追加の事前学習なしに、人物の再識別のための特徴表現を強化することができる自己教師付きコントラスト学習ブランチを設計した。 提案モデルでは, 平均平均精度(mAP) とランク1の精度において, 最先端のReID手法よりも優れたRe-ID性能が得られ, 高いマージンで性能が向上する。
  論文  参考訳（メタデータ） (2024-10-21T03:17:25Z)
• MacDiff: Unified Skeleton Modeling with Masked Conditional Diffusion [14.907473847787541]
  人間の骨格モデリングのための統合フレームワークとして,Masked Diffusion Conditional (MacDiff)を提案する。 まず,拡散モデルを用いて効率的な骨格表現学習を行う。 MacDiffは、生成タスクの能力を維持しながら、表現学習ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-16T17:06:10Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• BFRFormer: Transformer-based generator for Real-World Blind Face Restoration [37.77996097891398]
  本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。 提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-02-29T02:31:54Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。