論文の概要: MC-LCR: Multi-modal contrastive classification by locally correlated
representations for effective face forgery detection
- arxiv url: http://arxiv.org/abs/2110.03290v1
- Date: Thu, 7 Oct 2021 09:24:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 15:42:22.762646
- Title: MC-LCR: Multi-modal contrastive classification by locally correlated
representations for effective face forgery detection
- Title(参考訳): MC-LCR:顔偽造検出のための局所相関表現によるマルチモーダルコントラスト分類
- Authors: Gaojian Wang, Qian Jiang, Xin Jin, Wei Li and Xiaohui Cui
- Abstract要約: 局所的関連表現を用いたマルチモーダルコントラスト分類法を提案する。
我々のMC-LCRは、空間領域と周波数領域の両方から真偽顔と偽顔の暗黙の局所的不一致を増幅することを目的としている。
我々は最先端の性能を達成し,本手法の堅牢性と一般化を実証する。
- 参考スコア(独自算出の注目度): 11.124150983521158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the remarkable development of facial manipulation technologies is
accompanied by severe security concerns, face forgery detection has become a
recent research hotspot. Most existing detection methods train a binary
classifier under global supervision to judge real or fake. However, advanced
manipulations only perform small-scale tampering, posing challenges to
comprehensively capture subtle and local forgery artifacts, especially in high
compression settings and cross-dataset scenarios. To address such limitations,
we propose a novel framework named Multi-modal Contrastive Classification by
Locally Correlated Representations(MC-LCR), for effective face forgery
detection. Instead of specific appearance features, our MC-LCR aims to amplify
implicit local discrepancies between authentic and forged faces from both
spatial and frequency domains. Specifically, we design the shallow style
representation block that measures the pairwise correlation of shallow feature
maps, which encodes local style information to extract more discriminative
features in the spatial domain. Moreover, we make a key observation that subtle
forgery artifacts can be further exposed in the patch-wise phase and amplitude
spectrum and exhibit different clues. According to the complementarity of
amplitude and phase information, we develop a patch-wise amplitude and phase
dual attention module to capture locally correlated inconsistencies with each
other in the frequency domain. Besides the above two modules, we further
introduce the collaboration of supervised contrastive loss with cross-entropy
loss. It helps the network learn more discriminative and generalized
representations. Through extensive experiments and comprehensive studies, we
achieve state-of-the-art performance and demonstrate the robustness and
generalization of our method.
- Abstract(参考訳): 顔認証技術の開発に深刻なセキュリティ上の懸念が伴う中、顔の偽造検出は最近の研究ホットスポットとなっている。
既存の検出メソッドの多くは、実か偽かを判断するためにグローバル監視下でバイナリ分類器をトレーニングする。
しかし、高度な操作は小規模な改ざんしか行わず、特に高い圧縮設定やデータセットのシナリオにおいて、微妙で局所的な偽造品を包括的にキャプチャする課題を提起する。
このような制約に対処するため,局所相関表現(MC-LCR)を用いた顔偽造検出のためのマルチモーダルコントラスト分類(Multi-modal Contrastive Classification)を提案する。
我々のMC-LCRは、特定の外観特徴の代わりに、空間領域と周波数領域の両方から真偽顔と偽顔の暗黙の局所的不一致を増幅することを目的としている。
具体的には,空間領域内のより識別的な特徴を抽出するために,局所的な特徴マップを符号化する浅層特徴マップのペアワイズ相関を測定する浅層スタイル表現ブロックを設計する。
さらに, パッチワイド位相および振幅スペクトルにおいて, 微妙な偽造品がさらに露出し, 異なる手がかりを示すことを重要視する。
振幅情報と位相情報の相補性に応じて,周波数領域で局所的に相関する不整合を捉えるパッチワイズ振幅と位相二重注意モジュールを開発した。
上記の2つのモジュールに加えて、教師付きコントラスト損失とクロスエントロピー損失の協調を導入する。
ネットワークはより差別的で一般化された表現を学ぶのに役立つ。
広範な実験と総合的な研究を通じて,最先端のパフォーマンスを実現し,本手法の堅牢性と一般化を実証する。
関連論文リスト
- Transcending Forgery Specificity with Latent Space Augmentation for Generalizable Deepfake Detection [57.646582245834324]
LSDAと呼ばれる簡易で効果的なディープフェイク検出器を提案する。
より多様な偽の表現は、より一般化可能な決定境界を学べるべきである。
提案手法は驚くほど有効であり, 広く使用されている複数のベンチマークで最先端の検出器を超越することを示す。
論文 参考訳(メタデータ) (2023-11-19T09:41:10Z) - COMICS: End-to-end Bi-grained Contrastive Learning for Multi-face Forgery Detection [56.7599217711363]
顔偽造認識法は一度に1つの顔しか処理できない。
ほとんどの顔偽造認識法は一度に1つの顔しか処理できない。
マルチフェイスフォージェリ検出のためのエンドツーエンドフレームワークであるCOMICSを提案する。
論文 参考訳(メタデータ) (2023-08-03T03:37:13Z) - Attention Consistency Refined Masked Frequency Forgery Representation
for Generalizing Face Forgery Detection [96.539862328788]
既存の偽造検出方法は、未確認領域の真正性を決定する不満足な一般化能力に悩まされている。
ACMF(Attention Consistency Refined masked frequency forgery representation model)を提案する。
いくつかのパブリックフェイスフォージェリーデータセットの実験結果から,提案手法の性能は最先端の手法と比較して優れていることが示された。
論文 参考訳(メタデータ) (2023-07-21T08:58:49Z) - Cross-Domain Local Characteristic Enhanced Deepfake Video Detection [18.430287055542315]
ディープフェイク検出はセキュリティ上の懸念から注目を集めている。
多くの検出器は、目に見えない操作を検出する際に正確な結果を得ることができない。
そこで我々は,より一般的なディープフェイクビデオ検出のための新しいパイプラインであるクロスドメインローカルフォレスティクスを提案する。
論文 参考訳(メタデータ) (2022-11-07T07:44:09Z) - Dual Contrastive Learning for General Face Forgery Detection [64.41970626226221]
本稿では,正と負のペアデータを構成するDCL (Dual Contrastive Learning) という新しい顔偽造検出フレームワークを提案する。
本研究は, 事例内コントラスト学習(Intra-ICL)において, 偽造顔における局所的内容の不整合に焦点をあてる。
論文 参考訳(メタデータ) (2021-12-27T05:44:40Z) - Learnable Multi-level Frequency Decomposition and Hierarchical Attention
Mechanism for Generalized Face Presentation Attack Detection [7.324459578044212]
顔提示攻撃検知(PAD)は多くの注目を集めており、顔認識システムを保護する上で重要な役割を果たしている。
両ストリーム畳み込みニューラルネットワーク(CNN)フレームワークを提案する。
ステップワイドアブレーション研究において提案したPAD法の設計を実証した。
論文 参考訳(メタデータ) (2021-09-16T13:06:43Z) - Local Relation Learning for Face Forgery Detection [73.73130683091154]
局所的関係学習による顔の偽造検出の新たな視点を提案する。
具体的には,局所的な特徴間の類似度を測定するMPSM(Multi-scale Patch similarity Module)を提案する。
また、より包括的な局所特徴表現のために、RGBおよび周波数領域の情報を融合するRGB-Frequency Attention Module (RFAM)を提案する。
論文 参考訳(メタデータ) (2021-05-06T10:44:32Z) - Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in
Frequency Domain [88.7339322596758]
本論文では,空間画像と位相スペクトルを組み合わせ,顔の偽造のアップサンプリング成果をキャプチャするSPSL(Spatial-Phase Shallow Learning)法を提案する。
SPSLは、クロスデータセット評価における最先端性能とマルチクラス分類を実現し、単一データセット評価において同等の結果を得ることができる。
論文 参考訳(メタデータ) (2021-03-02T16:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。