論文の概要: Multi-spectral Class Center Network for Face Manipulation Detection and Localization
- arxiv url: http://arxiv.org/abs/2305.10794v3
- Date: Sat, 13 Jul 2024 14:29:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 05:18:31.749468
- Title: Multi-spectral Class Center Network for Face Manipulation Detection and Localization
- Title（参考訳）: 顔のマニピュレーション検出と位置検出のためのマルチスペクトルクラスセンターネットワーク
- Authors: Changtao Miao, Qi Chu, Zhentao Tan, Zhenchao Jin, Tao Gong, Wanyi Zhuang, Yue Wu, Bin Liu, Honggang Hu, Nenghai Yu,
- Abstract要約: 顔の操作検出と局所化のための新しいマルチスペクトル・クラス・センター・ネットワーク(MSCCNet)を提案する。
周波数帯域の異なる特徴に基づき、MSCCモジュールはマルチスペクトルクラスセンターを収集し、ピクセル対クラス関係を計算する。
多スペクトルクラスレベルの表現を適用することで、偽画像の操作された領域に敏感な視覚概念の意味情報を抑えることができる。
- 参考スコア（独自算出の注目度）: 52.569170436393165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As deepfake content proliferates online, advancing face manipulation forensics has become crucial. To combat this emerging threat, previous methods mainly focus on studying how to distinguish authentic and manipulated face images. Although impressive, image-level classification lacks explainability and is limited to specific application scenarios, spurring recent research on pixel-level prediction for face manipulation forensics. However, existing forgery localization methods suffer from exploring frequency-based forgery traces in the localization network. In this paper, we observe that multi-frequency spectrum information is effective for identifying tampered regions. To this end, a novel Multi-Spectral Class Center Network (MSCCNet) is proposed for face manipulation detection and localization. Specifically, we design a Multi-Spectral Class Center (MSCC) module to learn more generalizable and multi-frequency features. Based on the features of different frequency bands, the MSCC module collects multi-spectral class centers and computes pixel-to-class relations. Applying multi-spectral class-level representations suppresses the semantic information of the visual concepts which is insensitive to manipulated regions of forgery images. Furthermore, we propose a Multi-level Features Aggregation (MFA) module to employ more low-level forgery artifacts and structural textures. Meanwhile, we conduct a comprehensive localization benchmark based on pixel-level FF++ and Dolos datasets. Experimental results quantitatively and qualitatively demonstrate the effectiveness and superiority of the proposed MSCCNet. We expect this work to inspire more studies on pixel-level face manipulation localization. The codes are available (https://github.com/miaoct/MSCCNet).
- Abstract（参考訳）: ディープフェイクコンテンツがオンラインに普及するにつれ、顔操作の法医学の進歩が重要になっている。
この新たな脅威に対処するため、従来の手法は主に、認証された顔画像と操作された顔画像の区別方法の研究に重点を置いていた。
印象的ではあるが、画像レベルの分類には説明性がなく、特定のアプリケーションシナリオに限定されており、顔操作の法医学における画素レベルの予測に関する最近の研究を刺激している。
しかし、既存のフォージェリーローカライゼーション手法は、ローカライゼーションネットワークにおける周波数ベースのフォージェリートレースの探索に悩まされている。
そこで本稿では,マルチ周波数スペクトル情報が,改ざん領域の同定に有効であることを示す。
この目的のために,顔の操作検出と局所化のために,MSCCNet(Multi-Spectral Class Center Network)を提案する。
具体的には,マルチスペクトルクラスセンター(MSCC)モジュールを設計し,より汎用的で多周波な特徴を学習する。
周波数帯域の異なる特徴に基づき、MSCCモジュールはマルチスペクトルクラスセンターを収集し、ピクセル対クラス関係を計算する。
多スペクトルクラスレベルの表現を適用することで、偽画像の操作された領域に敏感な視覚概念の意味情報を抑えることができる。
さらに,より低レベルの偽造品や構造テクスチャを利用するマルチレベル特徴集合(MFA)モジュールを提案する。
一方,画素レベルのFF++とDolosデータセットに基づく包括的ローカライゼーションベンチマークを実施している。
実験結果は,提案したMSCCNetの有効性と優位性を定量的に,質的に実証した。
この研究が、ピクセルレベルの顔操作のローカライゼーションの研究を刺激することを期待している。
コードはhttps://github.com/miaoct/MSCCNet)。
関連論文リスト
- Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。
このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
論文 参考訳（メタデータ） (2024-08-05T08:35:59Z) - Exploring Multi-view Pixel Contrast for General and Robust Image Forgery Localization [4.8454936010479335]
本稿では,画像フォージェリーローカライゼーションのための多視点Pixel-wise Contrastive Algorithm (MPC)を提案する。
具体的には、まず、教師付きコントラスト損失を伴うバックボーンネットワークを事前訓練する。
次に、クロスエントロピー損失を用いてローカライゼーションヘッドを微調整し、ピクセルローカライザを改良する。
論文 参考訳（メタデータ） (2024-06-19T13:51:52Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - Hierarchical Forgery Classifier On Multi-modality Face Forgery Clues [61.37306431455152]
我々は,HFC-MFFD (hierarchical Forgery for Multi-modality Face Forgery Detection) を提案する。
HFC-MFFDは、マルチモーダルシナリオにおけるフォージェリー認証を強化するために、堅牢なパッチベースのハイブリッド表現を学習する。
クラス不均衡問題を緩和し、さらに検出性能を高めるために、特定の階層的な顔偽造を提案する。
論文 参考訳（メタデータ） (2022-12-30T10:54:29Z) - Probabilistic Deep Metric Learning for Hyperspectral Image
Classification [91.5747859691553]
本稿では,ハイパースペクトル画像分類のための確率論的深度学習フレームワークを提案する。
ハイパースペクトルセンサーが捉えた画像に対して、各ピクセルのカテゴリを予測することを目的としている。
我々のフレームワークは、既存のハイパースペクトル画像分類法に容易に適用できる。
論文 参考訳（メタデータ） (2022-11-15T17:57:12Z) - MSMG-Net: Multi-scale Multi-grained Supervised Metworks for Multi-task
Image Manipulation Detection and Localization [1.14219428942199]
マルチスケール多層深層ネットワーク(MSMG-Net)を提案する。
我々のMSMG-Netでは,並列なマルチスケール特徴抽出構造を用いてマルチスケール特徴抽出を行う。
MSMG-Netはオブジェクトレベルのセマンティクスを効果的に認識し、エッジアーティファクトをエンコードする。
論文 参考訳（メタデータ） (2022-11-06T14:58:21Z) - Multiscale Convolutional Transformer with Center Mask Pretraining for
Hyperspectral Image Classificationtion [14.33259265286265]
本稿では,空間スペクトル情報の効率的な抽出を実現するために,高スペクトル画像(HSI)のための高速多スケール畳み込みモジュールを提案する。
マスクオートエンコーダと同様に、我々の事前学習法は、エンコーダ内の中央画素の対応するトークンのみをマスクし、残りのトークンをデコーダに入力し、中央画素のスペクトル情報を再構成する。
論文 参考訳（メタデータ） (2022-03-09T14:42:26Z) - MVSS-Net: Multi-View Multi-Scale Supervised Networks for Image
Manipulation Detection [10.594107680952774]
画像操作検出の鍵となる研究課題は、新しいデータの操作に敏感な一般化可能な特徴の学習方法である。
本稿では,多視点特徴学習とマルチスケール監視による両面の考察を行う。
我々の考えはMVSS-Netと拡張バージョンMVSS-Net++と呼ばれる新しいネットワークによって実現されている。
論文 参考訳（メタデータ） (2021-12-16T15:01:52Z) - Multi-Content Complementation Network for Salient Object Detection in
Optical Remote Sensing Images [108.79667788962425]
光リモートセンシング画像(RSI-SOD)における有能な物体検出は、いまだに課題である。
本稿では, RSI-SOD における複数コンテンツの相補性を検討するために, MCCNet (Multi-Content Complementation Network) を提案する。
MCCMでは、前景機能、エッジ機能、背景機能、グローバル画像レベル機能など、RSI-SODにとって重要な複数の機能について検討する。
論文 参考訳（メタデータ） (2021-12-02T04:46:40Z) - Image Manipulation Detection by Multi-View Multi-Scale Supervision [11.319080833880307]
画像操作検出の主な課題は、新しいデータの操作に敏感な一般化可能な特徴の学習方法である。
本稿では,多視点特徴学習とマルチスケール監視による両面の考察を行う。
我々の思考はMVSS-Netと呼ばれる新しいネットワークによって実現される。
論文 参考訳（メタデータ） (2021-04-14T13:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。