論文の概要: Multi-spectral Class Center Network for Face Manipulation Detection and
Localization
- arxiv url: http://arxiv.org/abs/2305.10794v2
- Date: Tue, 19 Sep 2023 09:01:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 19:51:44.479443
- Title: Multi-spectral Class Center Network for Face Manipulation Detection and
Localization
- Title(参考訳): 顔操作検出・位置検出のためのマルチスペクトルクラスセンターネットワーク
- Authors: Changtao Miao, Qi Chu, Zhentao Tan, Zhenchao Jin, Wanyi Zhuang, Yue
Wu, Bin Liu, Honggang Hu, Nenghai Yu
- Abstract要約: 本稿では、ピクセルレベルのアノテーションを導入してFaceForensics++データセットを再構築し、改ざんした領域をローカライズするための広範なベンチマークを構築する。
次に,顔の操作検出と局所化のために,MSCCNet(Multi-Spectral Class Center Network)を提案する。
- 参考スコア(独自算出の注目度): 54.89350610668392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Deepfake contents continue to proliferate on the internet, advancing face
manipulation forensics has become a pressing issue. To combat this emerging
threat, previous methods mainly focus on studying how to distinguish authentic
and manipulated face images. Despite impressive, image-level classification
lacks explainability and is limited to some specific application scenarios.
Existing forgery localization methods suffer from imprecise and inconsistent
pixel-level annotations. To alleviate these problems, this paper first
re-constructs the FaceForensics++ dataset by introducing pixel-level
annotations, then builds an extensive benchmark for localizing tampered
regions. Next, a novel Multi-Spectral Class Center Network (MSCCNet) is
proposed for face manipulation detection and localization. Specifically,
inspired by the power of frequency-related forgery traces, we design
Multi-Spectral Class Center (MSCC) module to learn more generalizable and
semantic-agnostic features. Based on the features of different frequency bands,
the MSCC module collects multispectral class centers and computes
pixel-to-class relations. Applying multi-spectral class-level representations
suppresses the semantic information of the visual concepts, which is
insensitive to manipulations. Furthermore, we propose a Multi-level Features
Aggregation (MFA) module to employ more low-level forgery artifacts and
structure textures. Experimental results quantitatively and qualitatively
indicate the effectiveness and superiority of the proposed MSCCNet on
comprehensive localization benchmarks. We expect this work to inspire more
studies on pixel-level face manipulation localization. The annotations and
codes are available.
- Abstract(参考訳): ディープフェイクのコンテンツはインターネット上で増え続けており、顔操作の法医学の進歩が迫っている。
この新たな脅威に対処するために、従来の手法は主に、本物で操作された顔画像の識別方法の研究に重点を置いている。
印象的ではあるが、イメージレベルの分類には説明性がなく、特定のアプリケーションシナリオに限定されている。
既存の偽造ローカライズ手法は不正確で一貫性のないピクセルレベルのアノテーションに苦しむ。
これらの問題を緩和するため,本稿ではまず,ピクセルレベルのアノテーションを導入することでfaceforensics++データセットを再構成し,その後,改ざんされた領域をローカライズするための広範なベンチマークを構築した。
次に, 顔操作検出と局所化のために, 新たなマルチスペクトルクラスセンタネットワーク (msccnet) を提案する。
具体的には、周波数関連フォージェリートレースのパワーに触発されて、より汎用的で意味不明な特徴を学習するためのマルチスペクトルクラスセンター(MSCC)モジュールを設計する。
周波数帯域の異なる特徴に基づき、MSCCモジュールはマルチスペクトルクラスセンターを収集し、ピクセル対クラス関係を計算する。
マルチスペクトルクラスレベルの表現の適用は、操作に敏感な視覚概念の意味情報を抑圧する。
さらに,より低レベルの偽造品や構造テクスチャを利用するマルチレベル特徴集合(MFA)モジュールを提案する。
実験結果は,MSCCNetの総合的局所化ベンチマークにおける有効性と優位性を示す。
この研究が、ピクセルレベルの顔操作のローカライゼーションの研究を刺激することを期待している。
アノテーションとコードは利用可能である。
関連論文リスト
- Hierarchical Forgery Classifier On Multi-modality Face Forgery Clues [61.37306431455152]
我々は,HFC-MFFD (hierarchical Forgery for Multi-modality Face Forgery Detection) を提案する。
HFC-MFFDは、マルチモーダルシナリオにおけるフォージェリー認証を強化するために、堅牢なパッチベースのハイブリッド表現を学習する。
クラス不均衡問題を緩和し、さらに検出性能を高めるために、特定の階層的な顔偽造を提案する。
論文 参考訳(メタデータ) (2022-12-30T10:54:29Z) - MSMG-Net: Multi-scale Multi-grained Supervised Metworks for Multi-task
Image Manipulation Detection and Localization [1.14219428942199]
マルチスケール多層深層ネットワーク(MSMG-Net)を提案する。
我々のMSMG-Netでは,並列なマルチスケール特徴抽出構造を用いてマルチスケール特徴抽出を行う。
MSMG-Netはオブジェクトレベルのセマンティクスを効果的に認識し、エッジアーティファクトをエンコードする。
論文 参考訳(メタデータ) (2022-11-06T14:58:21Z) - Towards Effective Image Manipulation Detection with Proposal Contrastive
Learning [61.5469708038966]
本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。
我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。
我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
論文 参考訳(メタデータ) (2022-10-16T13:30:13Z) - AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation [86.44683367028914]
航空画像のセグメンテーションにはいくつかの独特な課題があり、中でも最も重要なものは前景と背景のアンバランスにある。
本稿では,階層的なセグメンテーション手法を採用し,マルチスケール表現を適応的に活用するAdaptive Focus Framework (AF$)を提案する。
AF$は、広く使われている3つの航空ベンチマークの精度を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-18T10:14:45Z) - MFNet: Multi-class Few-shot Segmentation Network with Pixel-wise Metric
Learning [34.059257121606336]
この研究は、まだほとんど探索されていない分野である少数ショットセマンティックセマンティックセグメンテーションに焦点を当てている。
まず,マルチウェイ符号化とデコードアーキテクチャを提案する。このアーキテクチャは,マルチスケールクエリ情報とマルチクラスサポート情報を1つのクエリ支援埋め込みに効果的に融合する。
標準ベンチマーク PASCAL-5i と COCO-20i による実験により, 数発のセグメンテーションにおいて, 本手法の利点が明らかに示された。
論文 参考訳(メタデータ) (2021-10-30T11:37:36Z) - Discriminative Region-based Multi-Label Zero-Shot Learning [145.0952336375342]
マルチラベルゼロショット学習(Multi-label zero-shot Learning、ZSL)は、標準のシングルラベルZSLのより現実的な対位法である。
本稿では,地域別識別可能性保存型ZSLに対する代替アプローチを提案する。
論文 参考訳(メタデータ) (2021-08-20T17:56:47Z) - Image Manipulation Detection by Multi-View Multi-Scale Supervision [11.319080833880307]
画像操作検出の主な課題は、新しいデータの操作に敏感な一般化可能な特徴の学習方法である。
本稿では,多視点特徴学習とマルチスケール監視による両面の考察を行う。
我々の思考はMVSS-Netと呼ばれる新しいネットワークによって実現される。
論文 参考訳(メタデータ) (2021-04-14T13:05:58Z) - Few-Shot Semantic Segmentation Augmented with Image-Level Weak
Annotations [23.02986307143718]
ショットセマンティックセグメンテーションの最近の進歩は、わずか数ピクセルレベルの注釈付き例によってこの問題に対処している。
私たちのキーとなるアイデアは、イメージレベルのラベル付きデータから知識を融合させることで、クラスのより優れたプロトタイプ表現を学ぶことです。
画像レベルのアノテーションを統合することで,距離空間におけるクラスプロトタイプ表現を学習するための新しいフレームワークPAIAを提案する。
論文 参考訳(メタデータ) (2020-07-03T04:58:20Z) - Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。
現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。
本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文 参考訳(メタデータ) (2020-04-14T16:29:42Z) - Weakly-supervised Object Localization for Few-shot Learning and
Fine-grained Few-shot Learning [0.5156484100374058]
少数のサンプルから新しい視覚カテゴリーを学習することを目的としている。
本稿では,自己認識型補完モジュール(SACモジュール)を提案する。
また,数発の分類のために,識別的深層記述子を選択するためのアクティブマスクも生成する。
論文 参考訳(メタデータ) (2020-03-02T14:07:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。