論文の概要: COMICS: End-to-end Bi-grained Contrastive Learning for Multi-face Forgery Detection

• arxiv url: http://arxiv.org/abs/2308.01520v2
• Date: Fri, 24 May 2024 05:07:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 00:05:56.726327
• Title: COMICS: End-to-end Bi-grained Contrastive Learning for Multi-face Forgery Detection
• Title（参考訳）: COMICS:多面フォージェリ検出のためのエンドツーエンド双方向コントラスト学習
• Authors: Cong Zhang, Honggang Qi, Shuhui Wang, Yuezun Li, Siwei Lyu,
• Abstract要約: 顔偽造認識法は一度に1つの顔しか処理できない。 ほとんどの顔偽造認識法は一度に1つの顔しか処理できない。 マルチフェイスフォージェリ検出のためのエンドツーエンドフレームワークであるCOMICSを提案する。
• 参考スコア（独自算出の注目度）: 56.7599217711363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: DeepFakes have raised serious societal concerns, leading to a great surge in detection-based forensics methods in recent years. Face forgery recognition is a standard detection method that usually follows a two-phase pipeline. While those methods perform well in ideal experimental environment, they face challenges when dealing with DeepFakes in the wild involving complex background and multiple faces of varying sizes. Moreover, most face forgery recognition methods can only process one face at a time. One straightforward way to address this issue is to simultaneous process multi-face by integrating face extraction and forgery detection in an end-to-end fashion by adapting advanced object detection architectures. However, as these object detection architectures are designed to capture the discriminative features of different object categories rather than the subtle forgery traces among the faces, the direct adaptation suffers from limited representation ability. In this paper, we propose COMICS, an end-to-end framework for multi-face forgery detection. COMICS integrates face extraction and forgery detection in a seamless manner and adapts to advanced object detection architectures. The proposed bi-grained contrastive learning approach explores face forgery traces at both the coarse- and fine-grained levels. Specifically, coarse-grained level contrastive learning captures the discriminative features among positive and negative proposal pairs at multiple layers produced by the proposal generator, and fine-grained level contrastive learning captures the pixel-wise discrepancy between the forged and original areas of the same face and the pixel-wise content inconsistency among different faces. Extensive experiments on the OpenForensics and FFIW datasets demonstrate that our method outperforms other counterparts and shows great potential for being integrated into various architectures.
• Abstract（参考訳）: 近年、DeepFakesは深刻な社会的懸念を生じさせており、検出に基づく法医学手法の急増につながっている。 顔偽造認識は、通常二相パイプラインに従う標準的な検出方法である。 これらの手法は理想的な実験環境ではうまく機能するが、複雑な背景とさまざまな大きさの複数の顔を含む野生のDeepFakeを扱う場合、課題に直面している。 さらに、ほとんどの顔偽造認識法は一度に1つの顔しか処理できない。 この問題に対処する簡単な方法の1つは、高度なオブジェクト検出アーキテクチャを適用して、顔抽出と偽造検出をエンドツーエンドで統合することで、マルチフェイスを同時に処理することである。 しかし、これらの物体検出アーキテクチャは顔間の微妙な偽跡ではなく、異なる対象カテゴリの識別的特徴を捉えるように設計されているため、直接適応は表現能力の制限に悩まされる。 本稿では,多面フォージェリ検出のためのエンドツーエンドフレームワークであるCOMICSを提案する。 COMICSは顔抽出と偽造検出をシームレスに統合し、高度なオブジェクト検出アーキテクチャに適応する。 提案手法は粗い面と細かな面の両方で顔の偽りの痕跡を探索する。 具体的には、粗粒度レベルのコントラスト学習は、提案生成装置が生成する複数の層において、正と負のプロポーザルペア間の識別的特徴を捕捉し、微粒度レベルのコントラスト学習は、同一面の偽領域と原領域と、異なる面間の画素ワイドコンテンツの不整合をキャプチャする。 OpenForensicsとFFIWデータセットに関する大規模な実験は、我々の手法が他の手法よりも優れており、様々なアーキテクチャに統合される可能性を示している。

関連論文リスト

• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
  フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。 公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。 我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
  論文  参考訳（メタデータ） (2024-02-03T03:13:50Z)
• DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake Detection [67.3143177137102]
  ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。 本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:19:45Z)
• Exploiting Facial Relationships and Feature Aggregation for Multi-Face Forgery Detection [21.976412231332798]
  既存の方法は、主に単面操作検出に集中しており、より複雑で現実的な多面フォージェリーの領域は、比較的探索されていないままである。 本稿では,多面フォージェリ検出に適した新しいフレームワークを提案し,現状の研究において重要なギャップを埋めている。 提案手法が多面フォージェリ検出シナリオにおける最先端性能を実現することを示すために,2つの公開多面フォージェリデータセットを用いた実験結果を得た。
  論文  参考訳（メタデータ） (2023-10-07T15:09:18Z)
• Hierarchical Forgery Classifier On Multi-modality Face Forgery Clues [61.37306431455152]
  我々は,HFC-MFFD (hierarchical Forgery for Multi-modality Face Forgery Detection) を提案する。 HFC-MFFDは、マルチモーダルシナリオにおけるフォージェリー認証を強化するために、堅牢なパッチベースのハイブリッド表現を学習する。 クラス不均衡問題を緩和し、さらに検出性能を高めるために、特定の階層的な顔偽造を提案する。
  論文  参考訳（メタデータ） (2022-12-30T10:54:29Z)
• An Efficient Method for Face Quality Assessment on the Edge [1.7188280334580197]
  エッジデバイスに対する実践的なアプローチは、認識への適合性に応じて、これらのアイデンティティの検出を優先すべきである。 顔のランドマーク検出ネットワークに1つの層を付加するだけで、顔の品質スコアの回帰が提案される。 追加のコストがほとんどないため、顔の品質スコアは、この単一の層をトレーニングすることで得られる。
  論文  参考訳（メタデータ） (2022-07-19T18:29:43Z)
• Dual Contrastive Learning for General Face Forgery Detection [64.41970626226221]
  本稿では,正と負のペアデータを構成するDCL (Dual Contrastive Learning) という新しい顔偽造検出フレームワークを提案する。 本研究は, 事例内コントラスト学習(Intra-ICL)において, 偽造顔における局所的内容の不整合に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-27T05:44:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。