論文の概要: Multi-spectral Class Center Network for Face Manipulation Detection and Localization

• arxiv url: http://arxiv.org/abs/2305.10794v1
• Date: Thu, 18 May 2023 08:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 16:13:09.439281
• Title: Multi-spectral Class Center Network for Face Manipulation Detection and Localization
• Title（参考訳）: 顔操作検出・位置検出のためのマルチスペクトルクラスセンターネットワーク
• Authors: Changtao Miao, Qi Chu, Zhentao Tan, Zhenchao Jin, Wanyi Zhuang, Yue Wu, Bin Liu, Honggang Hu, Nenghai Yu
• Abstract要約: 本稿では、ピクセルレベルのアノテーションを導入してFaceForensics++データセットを再構築し、改ざんした領域をローカライズするための広範なベンチマークを構築する。 次に,顔の操作検出と局所化のために,MSCCNet(Multi-Spectral Class Center Network)を提案する。
• 参考スコア（独自算出の注目度）: 56.985974625220166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Deepfake contents continue to proliferate on the internet, advancing face manipulation forensics has become a pressing issue. To combat this emerging threat, previous methods mainly focus on studying how to distinguish authentic and manipulated face images. Despite impressive, image-level classification lacks explainability and is limited to some specific application scenarios. Existing forgery localization methods suffer from imprecise and inconsistent pixel-level annotations. To alleviate these problems, this paper first re-constructs the FaceForensics++ dataset by introducing pixel-level annotations, then builds an extensive benchmark for localizing tampered regions. Next, a novel Multi-Spectral Class Center Network (MSCCNet) is proposed for face manipulation detection and localization. Specifically, inspired by the power of frequency-related forgery traces, we design Multi-Spectral Class Center (MSCC) module to learn more generalizable and semantic-agnostic features. Based on the features of different frequency bands, the MSCC module collects multispectral class centers and computes pixel-to-class relations. Applying multi-spectral class-level representations suppresses the semantic information of the visual concepts, which is insensitive to manipulations. Furthermore, we propose a Multi-level Features Aggregation (MFA) module to employ more low-level forgery artifacts and structure textures. Experimental results quantitatively and qualitatively indicate the effectiveness and superiority of the proposed MSCCNet on comprehensive localization benchmarks. We expect this work to inspire more studies on pixel-level face manipulation localization. The annotations and code will be available.
• Abstract（参考訳）: ディープフェイクのコンテンツはインターネット上で増え続けており、顔操作の法医学の進歩が迫っている。 この新たな脅威に対処するために、従来の手法は主に、本物で操作された顔画像の識別方法の研究に重点を置いている。 印象的ではあるが、イメージレベルの分類には説明性がなく、特定のアプリケーションシナリオに限定されている。 既存の偽造ローカライズ手法は不正確で一貫性のないピクセルレベルのアノテーションに苦しむ。 これらの問題を緩和するため,本稿ではまず,ピクセルレベルのアノテーションを導入することでfaceforensics++データセットを再構成し,その後,改ざんされた領域をローカライズするための広範なベンチマークを構築した。 次に, 顔操作検出と局所化のために, 新たなマルチスペクトルクラスセンタネットワーク (msccnet) を提案する。 具体的には、周波数関連フォージェリートレースのパワーに触発されて、より汎用的で意味不明な特徴を学習するためのマルチスペクトルクラスセンター(MSCC)モジュールを設計する。 周波数帯域の異なる特徴に基づき、MSCCモジュールはマルチスペクトルクラスセンターを収集し、ピクセル対クラス関係を計算する。 マルチスペクトルクラスレベルの表現の適用は、操作に敏感な視覚概念の意味情報を抑圧する。 さらに,より低レベルの偽造品や構造テクスチャを利用するマルチレベル特徴集合(MFA)モジュールを提案する。 実験結果は,MSCCNetの総合的局所化ベンチマークにおける有効性と優位性を示す。 この研究が、ピクセルレベルの顔操作のローカライゼーションの研究を刺激することを期待している。 アノテーションとコードは利用可能になる。

関連論文リスト

• Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
  本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。 このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
  論文  参考訳（メタデータ） (2024-08-05T08:35:59Z)
• Exploring Multi-view Pixel Contrast for General and Robust Image Forgery Localization [4.8454936010479335]
  本稿では,画像フォージェリーローカライゼーションのための多視点Pixel-wise Contrastive Algorithm (MPC)を提案する。 具体的には、まず、教師付きコントラスト損失を伴うバックボーンネットワークを事前訓練する。 次に、クロスエントロピー損失を用いてローカライゼーションヘッドを微調整し、ピクセルローカライザを改良する。
  論文  参考訳（メタデータ） (2024-06-19T13:51:52Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Hierarchical Forgery Classifier On Multi-modality Face Forgery Clues [61.37306431455152]
  我々は,HFC-MFFD (hierarchical Forgery for Multi-modality Face Forgery Detection) を提案する。 HFC-MFFDは、マルチモーダルシナリオにおけるフォージェリー認証を強化するために、堅牢なパッチベースのハイブリッド表現を学習する。 クラス不均衡問題を緩和し、さらに検出性能を高めるために、特定の階層的な顔偽造を提案する。
  論文  参考訳（メタデータ） (2022-12-30T10:54:29Z)
• Probabilistic Deep Metric Learning for Hyperspectral Image Classification [91.5747859691553]
  本稿では,ハイパースペクトル画像分類のための確率論的深度学習フレームワークを提案する。 ハイパースペクトルセンサーが捉えた画像に対して、各ピクセルのカテゴリを予測することを目的としている。 我々のフレームワークは、既存のハイパースペクトル画像分類法に容易に適用できる。
  論文  参考訳（メタデータ） (2022-11-15T17:57:12Z)
• MSMG-Net: Multi-scale Multi-grained Supervised Metworks for Multi-task Image Manipulation Detection and Localization [1.14219428942199]
  マルチスケール多層深層ネットワーク(MSMG-Net)を提案する。 我々のMSMG-Netでは,並列なマルチスケール特徴抽出構造を用いてマルチスケール特徴抽出を行う。 MSMG-Netはオブジェクトレベルのセマンティクスを効果的に認識し、エッジアーティファクトをエンコードする。
  論文  参考訳（メタデータ） (2022-11-06T14:58:21Z)
• Multiscale Convolutional Transformer with Center Mask Pretraining for Hyperspectral Image Classificationtion [14.33259265286265]
  本稿では,空間スペクトル情報の効率的な抽出を実現するために,高スペクトル画像(HSI)のための高速多スケール畳み込みモジュールを提案する。 マスクオートエンコーダと同様に、我々の事前学習法は、エンコーダ内の中央画素の対応するトークンのみをマスクし、残りのトークンをデコーダに入力し、中央画素のスペクトル情報を再構成する。
  論文  参考訳（メタデータ） (2022-03-09T14:42:26Z)
• MVSS-Net: Multi-View Multi-Scale Supervised Networks for Image Manipulation Detection [10.594107680952774]
  画像操作検出の鍵となる研究課題は、新しいデータの操作に敏感な一般化可能な特徴の学習方法である。 本稿では,多視点特徴学習とマルチスケール監視による両面の考察を行う。 我々の考えはMVSS-Netと拡張バージョンMVSS-Net++と呼ばれる新しいネットワークによって実現されている。
  論文  参考訳（メタデータ） (2021-12-16T15:01:52Z)
• Multi-Content Complementation Network for Salient Object Detection in Optical Remote Sensing Images [108.79667788962425]
  光リモートセンシング画像(RSI-SOD)における有能な物体検出は、いまだに課題である。 本稿では, RSI-SOD における複数コンテンツの相補性を検討するために, MCCNet (Multi-Content Complementation Network) を提案する。 MCCMでは、前景機能、エッジ機能、背景機能、グローバル画像レベル機能など、RSI-SODにとって重要な複数の機能について検討する。
  論文  参考訳（メタデータ） (2021-12-02T04:46:40Z)
• Image Manipulation Detection by Multi-View Multi-Scale Supervision [11.319080833880307]
  画像操作検出の主な課題は、新しいデータの操作に敏感な一般化可能な特徴の学習方法である。 本稿では,多視点特徴学習とマルチスケール監視による両面の考察を行う。 我々の思考はMVSS-Netと呼ばれる新しいネットワークによって実現される。
  論文  参考訳（メタデータ） (2021-04-14T13:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。