論文の概要: Multi-Scale Wavelet Transformer for Face Forgery Detection

• arxiv url: http://arxiv.org/abs/2210.03899v1
• Date: Sat, 8 Oct 2022 03:39:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:10:53.742888
• Title: Multi-Scale Wavelet Transformer for Face Forgery Detection
• Title（参考訳）: 顔偽造検出用マルチスケールウェーブレット変圧器
• Authors: Jie Liu, Jingjing Wang, Peng Zhang, Chunmao Wang, Di Xie, Shiliang Pu
• Abstract要約: 顔偽造検出のためのマルチスケールウェーブレットトランスフォーマフレームワークを提案する。 周波数に基づく空間的注意は、空間的特徴抽出器をフォージェリトレースに集中させるよう誘導するように設計されている。 空間的特徴と周波数特徴を融合させるため,モーダリティ間の注意が提案されている。
• 参考スコア（独自算出の注目度）: 43.33712402517951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Currently, many face forgery detection methods aggregate spatial and frequency features to enhance the generalization ability and gain promising performance under the cross-dataset scenario. However, these methods only leverage one level frequency information which limits their expressive ability. To overcome these limitations, we propose a multi-scale wavelet transformer framework for face forgery detection. Specifically, to take full advantage of the multi-scale and multi-frequency wavelet representation, we gradually aggregate the multi-scale wavelet representation at different stages of the backbone network. To better fuse the frequency feature with the spatial features, frequency-based spatial attention is designed to guide the spatial feature extractor to concentrate more on forgery traces. Meanwhile, cross-modality attention is proposed to fuse the frequency features with the spatial features. These two attention modules are calculated through a unified transformer block for efficiency. A wide variety of experiments demonstrate that the proposed method is efficient and effective for both within and cross datasets.
• Abstract（参考訳）: 現在、多くの顔偽造検出手法は、空間的および周波数的特徴を集約し、汎化能力を高め、クロスデータセットシナリオで有望な性能を得る。 しかし、これらの手法は表現能力を制限する1つのレベル周波数情報のみを利用する。 これらの限界を克服するために, 顔偽造検出のための多スケールウェーブレットトランスフォーマフレームワークを提案する。 具体的には、マルチスケールおよびマルチ周波数ウェーブレット表現をフル活用するために、バックボーンネットワークの異なる段階におけるマルチスケールウェーブレット表現を徐々に集約する。 周波数特徴を空間的特徴と融合させるため、周波数ベースの空間的注意は、空間的特徴抽出器を偽造トレースに集中させるように設計されている。 一方,周波数特徴と空間特徴を融合させるために,クロスモダリティ注意が提案されている。 これら2つの注目モジュールは、効率的な統一トランスブロックによって計算される。 様々な実験により,提案手法はデータセット内およびクロスデータセットの両方に対して効率的かつ効果的であることが示された。

関連論文リスト

• Multiple Contexts and Frequencies Aggregation Network forDeepfake Detection [5.65128683992597]
  ディープフェイク検出は、大量で多様なディープフェイク技術の開発において、生成モデルの急速な成長以来、課題に直面している。 近年の進歩は、バックボーン内の一般的な偽造特徴をモデル化するのではなく、空間領域や周波数領域からの特徴の導入に依存している。 2つのコアモジュールからなるMkfaNetという顔偽造検出のための効率的なネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-03T05:34:53Z)
• Wavelet-based Bi-dimensional Aggregation Network for SAR Image Change Detection [53.842568573251214]
  3つのSARデータセットによる実験結果から、我々のWBANetは現代最先端の手法を著しく上回っていることが明らかとなった。 我々のWBANetは、それぞれのデータセットで98.33%、96.65%、96.62%の正確な分類(PCC)を達成している。
  論文  参考訳（メタデータ） (2024-07-18T04:36:10Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• Learning Spatial-Frequency Transformer for Visual Object Tracking [15.750739748843744]
  最近のトラッカーはTransformerを採用して、広く使われているResNetを新しいバックボーンネットワークとして組み合わせたり置き換えたりしている。 これらの操作は、ターゲットオブジェクトの空間的先行を無視し、最適以下の結果をもたらす可能性があると信じている。 本稿では,GPHA(Spatial Prior and High- frequency emphasis Attention)を同時にモデル化した空間周波数変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-18T13:46:12Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)
• Generalizing Face Forgery Detection with High-frequency Features [63.33397573649408]
  現在のCNNベースの検出器は、メソッド固有の色テクスチャに過度に適合するため、一般化に失敗する傾向にある。 フェースフォージェリ検出に高周波雑音を用いることを提案する。 1つは、複数のスケールで高周波ノイズを抽出するマルチスケールの高周波特徴抽出モジュールである。 2つ目は、低レベルRGB特徴抽出器を導く残差誘導空間注意モジュールで、新しい視点からフォージェリートレースにもっと集中する。
  論文  参考訳（メタデータ） (2021-03-23T08:19:21Z)
• Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in Frequency Domain [88.7339322596758]
  本論文では,空間画像と位相スペクトルを組み合わせ,顔の偽造のアップサンプリング成果をキャプチャするSPSL(Spatial-Phase Shallow Learning)法を提案する。 SPSLは、クロスデータセット評価における最先端性能とマルチクラス分類を実現し、単一データセット評価において同等の結果を得ることができる。
  論文  参考訳（メタデータ） (2021-03-02T16:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。