論文の概要: Multi-Scale Wavelet Transformer for Face Forgery Detection
- arxiv url: http://arxiv.org/abs/2210.03899v1
- Date: Sat, 8 Oct 2022 03:39:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 17:10:53.742888
- Title: Multi-Scale Wavelet Transformer for Face Forgery Detection
- Title(参考訳): 顔偽造検出用マルチスケールウェーブレット変圧器
- Authors: Jie Liu, Jingjing Wang, Peng Zhang, Chunmao Wang, Di Xie, Shiliang Pu
- Abstract要約: 顔偽造検出のためのマルチスケールウェーブレットトランスフォーマフレームワークを提案する。
周波数に基づく空間的注意は、空間的特徴抽出器をフォージェリトレースに集中させるよう誘導するように設計されている。
空間的特徴と周波数特徴を融合させるため,モーダリティ間の注意が提案されている。
- 参考スコア(独自算出の注目度): 43.33712402517951
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Currently, many face forgery detection methods aggregate spatial and
frequency features to enhance the generalization ability and gain promising
performance under the cross-dataset scenario. However, these methods only
leverage one level frequency information which limits their expressive ability.
To overcome these limitations, we propose a multi-scale wavelet transformer
framework for face forgery detection. Specifically, to take full advantage of
the multi-scale and multi-frequency wavelet representation, we gradually
aggregate the multi-scale wavelet representation at different stages of the
backbone network. To better fuse the frequency feature with the spatial
features, frequency-based spatial attention is designed to guide the spatial
feature extractor to concentrate more on forgery traces. Meanwhile,
cross-modality attention is proposed to fuse the frequency features with the
spatial features. These two attention modules are calculated through a unified
transformer block for efficiency. A wide variety of experiments demonstrate
that the proposed method is efficient and effective for both within and cross
datasets.
- Abstract(参考訳): 現在、多くの顔偽造検出手法は、空間的および周波数的特徴を集約し、汎化能力を高め、クロスデータセットシナリオで有望な性能を得る。
しかし、これらの手法は表現能力を制限する1つのレベル周波数情報のみを利用する。
これらの限界を克服するために, 顔偽造検出のための多スケールウェーブレットトランスフォーマフレームワークを提案する。
具体的には、マルチスケールおよびマルチ周波数ウェーブレット表現をフル活用するために、バックボーンネットワークの異なる段階におけるマルチスケールウェーブレット表現を徐々に集約する。
周波数特徴を空間的特徴と融合させるため、周波数ベースの空間的注意は、空間的特徴抽出器を偽造トレースに集中させるように設計されている。
一方,周波数特徴と空間特徴を融合させるために,クロスモダリティ注意が提案されている。
これら2つの注目モジュールは、効率的な統一トランスブロックによって計算される。
様々な実験により,提案手法はデータセット内およびクロスデータセットの両方に対して効率的かつ効果的であることが示された。
関連論文リスト
- Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳(メタデータ) (2024-03-12T01:28:00Z) - Frequency-Adaptive Pan-Sharpening with Mixture of Experts [22.28680499480492]
パンシャーピングのための新しい周波数適応型エキスパート混合学習フレームワーク(FAME)を提案する。
本手法は他の最先端技術に対して最善を尽くし,現実のシーンに対して強力な一般化能力を有する。
論文 参考訳(メタデータ) (2024-01-04T08:58:25Z) - Frequency Spectrum is More Effective for Multimodal Representation and
Fusion: A Multimodal Spectrum Rumor Detector [42.079129968058275]
画像とテキストを混在させるようなマルチモーダルコンテンツは、ソーシャルメディアにおける噂検出に重大な課題をもたらす。
この研究は、空間的特徴を周波数スペクトルに効率的に変換する周波数領域におけるマルチモーダル噂検出の最初の試みである。
二重コントラスト学習を用いた新しい周波数スペクトル表現とfUsionネットワーク(FSRU)は、周波数スペクトルがマルチモーダル表現と融合により効果的であることを明らかにする。
論文 参考訳(メタデータ) (2023-12-18T08:55:42Z) - Learning Spatial-Frequency Transformer for Visual Object Tracking [15.750739748843744]
最近のトラッカーはTransformerを採用して、広く使われているResNetを新しいバックボーンネットワークとして組み合わせたり置き換えたりしている。
これらの操作は、ターゲットオブジェクトの空間的先行を無視し、最適以下の結果をもたらす可能性があると信じている。
本稿では,GPHA(Spatial Prior and High- frequency emphasis Attention)を同時にモデル化した空間周波数変換器を提案する。
論文 参考訳(メタデータ) (2022-08-18T13:46:12Z) - Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。
我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-03-27T14:25:52Z) - Generalizing Face Forgery Detection with High-frequency Features [63.33397573649408]
現在のCNNベースの検出器は、メソッド固有の色テクスチャに過度に適合するため、一般化に失敗する傾向にある。
フェースフォージェリ検出に高周波雑音を用いることを提案する。
1つは、複数のスケールで高周波ノイズを抽出するマルチスケールの高周波特徴抽出モジュールである。
2つ目は、低レベルRGB特徴抽出器を導く残差誘導空間注意モジュールで、新しい視点からフォージェリートレースにもっと集中する。
論文 参考訳(メタデータ) (2021-03-23T08:19:21Z) - Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in
Frequency Domain [88.7339322596758]
本論文では,空間画像と位相スペクトルを組み合わせ,顔の偽造のアップサンプリング成果をキャプチャするSPSL(Spatial-Phase Shallow Learning)法を提案する。
SPSLは、クロスデータセット評価における最先端性能とマルチクラス分類を実現し、単一データセット評価において同等の結果を得ることができる。
論文 参考訳(メタデータ) (2021-03-02T16:45:08Z) - WaveTransform: Crafting Adversarial Examples via Input Decomposition [69.01794414018603]
本稿では,低周波サブバンドと高周波サブバンドに対応する逆雑音を生成するWaveTransformを紹介する。
実験により,提案攻撃は防衛アルゴリズムに対して有効であり,CNN間での転送も可能であることが示された。
論文 参考訳(メタデータ) (2020-10-29T17:16:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。