論文の概要: Harnessing Wavelet Transformations for Generalizable Deepfake Forgery Detection
- arxiv url: http://arxiv.org/abs/2409.18301v2
- Date: Thu, 07 Nov 2024 19:20:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-11 18:11:27.408808
- Title: Harnessing Wavelet Transformations for Generalizable Deepfake Forgery Detection
- Title（参考訳）: 一般化可能なディープフェイク偽造検出のためのハーネスングウェーブレット変換
- Authors: Lalith Bharadwaj Baru, Shilhora Akshay Patel, Rohit Boddeda,
- Abstract要約: Wavelet-CLIPは、ウェーブレット変換とViT-L/14アーキテクチャに由来する機能を統合したディープフェイク検出フレームワークで、CLIP方式で事前トレーニングされている。
提案手法は,データ間一般化における平均AUC0.749,不明瞭なディープフェイクに対するロバスト性0.893を達成し,優れた性能を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: The evolution of digital image manipulation, particularly with the advancement of deep generative models, significantly challenges existing deepfake detection methods, especially when the origin of the deepfake is obscure. To tackle the increasing complexity of these forgeries, we propose \textbf{Wavelet-CLIP}, a deepfake detection framework that integrates wavelet transforms with features derived from the ViT-L/14 architecture, pre-trained in the CLIP fashion. Wavelet-CLIP utilizes Wavelet Transforms to deeply analyze both spatial and frequency features from images, thus enhancing the model's capability to detect sophisticated deepfakes. To verify the effectiveness of our approach, we conducted extensive evaluations against existing state-of-the-art methods for cross-dataset generalization and detection of unseen images generated by standard diffusion models. Our method showcases outstanding performance, achieving an average AUC of 0.749 for cross-data generalization and 0.893 for robustness against unseen deepfakes, outperforming all compared methods. The code can be reproduced from the repo: \url{https://github.com/lalithbharadwajbaru/Wavelet-CLIP}
- Abstract（参考訳）: デジタル画像操作の進化、特に深部生成モデルの進歩は、特に深部フェイクの起源が不明な場合、既存の深部フェイク検出法に大きく挑戦する。
これらの偽造の複雑さの増大に対処するために、VT-L/14アーキテクチャから派生した機能とウェーブレット変換を統合するディープフェイク検出フレームワークである \textbf{Wavelet-CLIP} を提案する。
Wavelet-CLIPはWavelet Transformsを使用して画像から空間的特徴と周波数的特徴の両方を深く分析する。
提案手法の有効性を検証するため, 標準拡散モデルにより生成された未知画像のクロスデータセット一般化と検出のための既存手法に対して, 広範囲な評価を行った。
提案手法は,データ間一般化における平均AUC0.749,未確認のディープフェイクに対するロバスト性0.893を達成し,全ての比較手法より優れた性能を示す。
コードはリポジトリから再生できる。 \url{https://github.com/lalithbharadwajbaru/Wavelet-CLIP}
関連論文リスト
- Standing on the Shoulders of Giants: Reprogramming Visual-Language Model for General Deepfake Detection [16.21235742118949]
本稿では,よく訓練された視覚言語モデル(VLM)を一般深度検出に活用する手法を提案する。
データ摂動によるモデル予測を操作するモデル再プログラミングパラダイムにより,本手法は事前学習したVLMモデルを再プログラムすることができる。
私たちの優れたパフォーマンスは、トレーニング可能なパラメータのコストを低減し、現実世界のアプリケーションにとって有望なアプローチになります。
論文 参考訳（メタデータ） (2024-09-04T12:46:30Z) - Towards More General Video-based Deepfake Detection through Facial Feature Guided Adaptation for Foundation Model [15.61920157541529]
内部にリッチな情報をエンコードしたファンデーションモデルを適用することにより,新しいディープフェイク検出手法を提案する。
近年のパラメータ効率の良い微調整技術に触発されて,新しいサイドネットワーク型デコーダを提案する。
提案手法は,見知らぬディープフェイクサンプルの同定に優れた有効性を示し,顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2024-04-08T14:58:52Z) - Deepfake Sentry: Harnessing Ensemble Intelligence for Resilient Detection and Generalisation [0.8796261172196743]
本稿では,持続的かつ積極的なディープフェイクトレーニング強化ソリューションを提案する。
我々は、ディープフェイクジェネレータモデルによって導入されたアーティファクトの効果を模倣するオートエンコーダのプールを採用する。
実験の結果,提案するアンサンブル・オートエンコーダに基づくデータ拡張学習手法が一般化の点で改善されていることがわかった。
論文 参考訳（メタデータ） (2024-03-29T19:09:08Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - Generalized Deepfakes Detection with Reconstructed-Blended Images and
Multi-scale Feature Reconstruction Network [14.749857283918157]
未確認データセットに対する堅牢な適用性を有するブレンドベース検出手法を提案する。
実験により、この手法により、未知のデータ上でのクロスマニピュレーション検出とクロスデータセット検出の両方のパフォーマンスが向上することが示された。
論文 参考訳（メタデータ） (2023-12-13T09:49:15Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。
具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。
提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2022-09-12T15:05:41Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-03-04T09:08:50Z) - Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。
本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。
種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
論文 参考訳（メタデータ） (2021-05-29T21:22:24Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳（メタデータ） (2021-04-20T05:43:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。