論文の概要: Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning

• arxiv url: http://arxiv.org/abs/2403.07240v1
• Date: Tue, 12 Mar 2024 01:28:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 23:12:27.115836
• Title: Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning
• Title（参考訳）: 周波数認識深度検出:周波数空間学習による一般化性の向上
• Authors: Chuangchuang Tan, Yao Zhao, Shikui Wei, Guanghua Gu, Ping Liu, Yunchao Wei
• Abstract要約: この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
• 参考スコア（独自算出の注目度）: 81.98675881423131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research addresses the challenge of developing a universal deepfake detector that can effectively identify unseen deepfake images despite limited training data. Existing frequency-based paradigms have relied on frequency-level artifacts introduced during the up-sampling in GAN pipelines to detect forgeries. However, the rapid advancements in synthesis technology have led to specific artifacts for each generation model. Consequently, these detectors have exhibited a lack of proficiency in learning the frequency domain and tend to overfit to the artifacts present in the training data, leading to suboptimal performance on unseen sources. To address this issue, we introduce a novel frequency-aware approach called FreqNet, centered around frequency domain learning, specifically designed to enhance the generalizability of deepfake detectors. Our method forces the detector to continuously focus on high-frequency information, exploiting high-frequency representation of features across spatial and channel dimensions. Additionally, we incorporate a straightforward frequency domain learning module to learn source-agnostic features. It involves convolutional layers applied to both the phase spectrum and amplitude spectrum between the Fast Fourier Transform (FFT) and Inverse Fast Fourier Transform (iFFT). Extensive experimentation involving 17 GANs demonstrates the effectiveness of our proposed method, showcasing state-of-the-art performance (+9.8\%) while requiring fewer parameters. The code is available at {\cred \url{https://github.com/chuangchuangtan/FreqNet-DeepfakeDetection}}.
• Abstract（参考訳）: 本研究は,未発見のディープフェイク画像を,限られたトレーニングデータに留まらず効果的に識別できる汎用ディープフェイク検出器の開発を課題とする。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 しかし、合成技術の急速な進歩により、各世代モデルに固有のアーティファクトが生まれている。 その結果、これらの検出器は周波数領域を学習する能力の欠如を示しており、トレーニングデータに存在するアーティファクトに過度に適合する傾向にあり、見当たらないソースに対する準最適性能をもたらす。 この問題に対処するため,周波数領域学習を中心としたFreqNetという新しい周波数認識手法を導入し,ディープフェイク検出器の一般化性を高めることを目的とした。 本手法では,空間的およびチャネル的次元にまたがる特徴の高周波表現を活用し,連続的に高周波情報に焦点を当てる。 さらに、ソースに依存しない特徴を学習するために、簡単な周波数領域学習モジュールを組み込んだ。 これは、位相スペクトルと高速フーリエ変換(fft)と逆高速フーリエ変換(ifft)の間の振幅スペクトルの両方に適用される畳み込み層を含む。 提案手法の有効性を実証し, より少ないパラメータを必要としながら, 最先端性能(+9.8\%)を示す。 コードは {\cred \url{https://github.com/chuangchuangtan/freqnet-deepfakedetection}} で入手できる。

関連論文リスト

• Multiple Contexts and Frequencies Aggregation Network forDeepfake Detection [5.65128683992597]
  ディープフェイク検出は、大量で多様なディープフェイク技術の開発において、生成モデルの急速な成長以来、課題に直面している。 近年の進歩は、バックボーン内の一般的な偽造特徴をモデル化するのではなく、空間領域や周波数領域からの特徴の導入に依存している。 2つのコアモジュールからなるMkfaNetという顔偽造検出のための効率的なネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-03T05:34:53Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Multi-Scale Wavelet Transformer for Face Forgery Detection [43.33712402517951]
  顔偽造検出のためのマルチスケールウェーブレットトランスフォーマフレームワークを提案する。 周波数に基づく空間的注意は、空間的特徴抽出器をフォージェリトレースに集中させるよう誘導するように設計されている。 空間的特徴と周波数特徴を融合させるため,モーダリティ間の注意が提案されている。
  論文  参考訳（メタデータ） (2022-10-08T03:39:36Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)
• Deep Frequency Filtering for Domain Generalization [55.66498461438285]
  Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。 本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。 提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
  論文  参考訳（メタデータ） (2022-03-23T05:19:06Z)
• Fourier Disentangled Space-Time Attention for Aerial Video Recognition [54.80846279175762]
  本稿では,UAVビデオ行動認識のためのFAR(Fourier Activity Recognition)アルゴリズムを提案する。 我々の定式化は、人間のエージェントを背景から自然に分離するために、新しいフーリエオブジェクト・ディコンタングルメント法を用いています。 我々はUAV Human RGB、UAV Human Night、Drone Action、NEC Droneを含む複数のUAVデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-03-21T01:24:53Z)
• FrePGAN: Robust Deepfake Detection Using Frequency-level Perturbations [12.027711542565315]
  我々は、既知のGANモデルと見えないGANモデルの両方に対してディープフェイク検出器を一般化するためのフレームワークを設計する。 本フレームワークは,実画像と区別できないような周波数レベルの摂動マップを生成する。 実験のために、GANモデル、色操作、オブジェクトカテゴリのトレーニング設定から異なる新しいテストシナリオを設計する。
  論文  参考訳（メタデータ） (2022-02-07T16:45:11Z)
• Generalizing Face Forgery Detection with High-frequency Features [63.33397573649408]
  現在のCNNベースの検出器は、メソッド固有の色テクスチャに過度に適合するため、一般化に失敗する傾向にある。 フェースフォージェリ検出に高周波雑音を用いることを提案する。 1つは、複数のスケールで高周波ノイズを抽出するマルチスケールの高周波特徴抽出モジュールである。 2つ目は、低レベルRGB特徴抽出器を導く残差誘導空間注意モジュールで、新しい視点からフォージェリートレースにもっと集中する。
  論文  参考訳（メタデータ） (2021-03-23T08:19:21Z)
• Fake Visual Content Detection Using Two-Stream Convolutional Neural Networks [14.781702606707642]
  周波数領域と空間領域の特徴を補完する2ストリーム畳み込みニューラルネットワークアーキテクチャであるTwoStreamNetを提案する。 提案手法は, 現状の偽コンテンツ検出装置に比べ, 大幅に性能が向上した。
  論文  参考訳（メタデータ） (2021-01-03T18:05:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。