論文の概要: DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection
- arxiv url: http://arxiv.org/abs/2306.00863v2
- Date: Sat, 07 Dec 2024 02:52:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:49:28.071793
- Title: DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection
- Title（参考訳）: DeepFake-Adapter:DeepFake検出のためのデュアルレベルアダプタ
- Authors: Rui Shao, Tianxing Wu, Liqiang Nie, Ziwei Liu,
- Abstract要約: 既存のディープフェイク検出方法は、目に見えない、または劣化したサンプルに対してうまく一般化できない。
高レベルのセマンティクスは、一般化可能な偽造検出に必要なレシピである。
DeepFake-Adapterは、DeepFake検出のためのパラメータ効率の高い最初のチューニング手法である。
- 参考スコア（独自算出の注目度）: 82.8662802404075
- License:
- Abstract: Existing deepfake detection methods fail to generalize well to unseen or degraded samples, which can be attributed to the over-fitting of low-level forgery patterns. Here we argue that high-level semantics are also indispensable recipes for generalizable forgery detection. Recently, large pre-trained Vision Transformers (ViTs) have shown promising generalization capability. In this paper, we propose the first parameter-efficient tuning approach for deepfake detection, namely DeepFake-Adapter, to effectively and efficiently adapt the generalizable high-level semantics from large pre-trained ViTs to aid deepfake detection. Given large pre-trained models but limited deepfake data, DeepFake-Adapter introduces lightweight yet dedicated dual-level adapter modules to a ViT while keeping the model backbone frozen. Specifically, to guide the adaptation process to be aware of both global and local forgery cues of deepfake data, 1) we not only insert Globally-aware Bottleneck Adapters in parallel to MLP layers of ViT, 2) but also actively cross-attend Locally-aware Spatial Adapters with features from ViT. Unlike existing deepfake detection methods merely focusing on low-level forgery patterns, the forgery detection process of our model can be regularized by generalizable high-level semantics from a pre-trained ViT and adapted by global and local low-level forgeries of deepfake data. Extensive experiments on several standard deepfake detection benchmarks validate the effectiveness of our approach. Notably, DeepFake-Adapter demonstrates a convincing advantage under cross-dataset and cross-manipulation settings. The code has been released at https://github.com/rshaojimmy/DeepFake-Adapter.
- Abstract（参考訳）: 既存のディープフェイク検出法は、低レベルの偽造パターンの過度な適合に起因して、目に見えないサンプルや劣化したサンプルをうまく一般化することができない。
ここでは、高レベルの意味論は一般化可能な偽造検出に必須のレシピであると主張する。
近年,大規模な事前学習型視覚変換器 (ViT) は有望な一般化能力を示している。
本稿では,DeepFake-Adapterというディープフェイク検出のための第1のパラメータ効率チューニング手法を提案する。
DeepFake-Adapterは、トレーニング済みの大きなモデルと限られたディープフェイクデータによって、軽量だが専用のデュアルレベルのアダプタモジュールをViTに導入し、モデルバックボーンを凍結し続ける。
具体的には、ディープフェイクデータのグローバル・ローカル・フォージェリー・キューとローカル・フォージェリー・キューの両方に気付くように適応プロセスを導く。
1) グローバル対応の Bottleneck Adapters を ViT の MLP 層に並列に挿入するだけでなく,
また,VTの機能を持つ局所的空間適応器についても積極的に対応している。
低レベルの偽造パターンにのみ焦点をあてる既存のディープフェイク検出方法とは異なり、我々のモデルの偽造検出プロセスは、事前訓練されたViTから一般化可能なハイレベルセマンティクスにより正規化することができ、また、ディープフェイクデータのグローバルおよびローカル低レベルの偽造に適応することができる。
いくつかの標準ディープフェイク検出ベンチマークによる大規模な実験により,本手法の有効性が検証された。
特に、DeepFake-Adapterは、クロスデータセットとクロス操作設定において、説得力のあるアドバンテージを示している。
コードはhttps://github.com/rshaojimmy/DeepFake-Adapter.comでリリースされた。
関連論文リスト
- FakeFormer: Efficient Vulnerability-Driven Transformers for Generalisable Deepfake Detection [12.594436202557446]
本稿では,視覚変換器(ViT)が顔面偽造検出に最適である理由について検討する。
本稿では, 微妙な不整合情報を抽出するためにViTを拡張したFakeFormerというディープフェイク検出フレームワークを提案する。
FF++、Celeb-DF、WildDeepfake、DFD、DFDCP、DFDCなど、さまざまな有名なデータセットで実験が行われている。
論文 参考訳（メタデータ） (2024-10-29T11:36:49Z) - Wavelet-Driven Generalizable Framework for Deepfake Face Forgery Detection [0.0]
Wavelet-CLIPは、ウェーブレット変換とViT-L/14アーキテクチャに由来する機能を統合したディープフェイク検出フレームワークで、CLIP方式で事前トレーニングされている。
提案手法は,データ間一般化における平均AUC0.749,不明瞭なディープフェイクに対するロバスト性0.893を達成し,優れた性能を示す。
論文 参考訳（メタデータ） (2024-09-26T21:16:51Z) - Standing on the Shoulders of Giants: Reprogramming Visual-Language Model for General Deepfake Detection [16.21235742118949]
本稿では,よく訓練された視覚言語モデル(VLM)を一般深度検出に活用する手法を提案する。
入力摂動によってモデル予測を操作するモデル再プログラミングパラダイムにより,本手法はトレーニング済みのVLMモデルを再プログラムすることができる。
いくつかの人気のあるベンチマークデータセットの実験では、ディープフェイク検出のクロスデータセットとクロスマニピュレーションのパフォーマンスが大幅に改善できることが示されている。
論文 参考訳（メタデータ） (2024-09-04T12:46:30Z) - Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach [77.65459419417533]
本稿ではセマンティクス指向のDeepFake検出タスクをサポートするための自動データセット拡張手法を提案する。
また,顔画像とそれに対応するラベルを併用して予測を行う。
提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
論文 参考訳（メタデータ） (2024-08-29T07:11:50Z) - Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。
フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。
設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
論文 参考訳（メタデータ） (2024-08-23T01:53:36Z) - MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。
ViT法はトランスの表現性を生かし,優れた検出性能を実現する。
この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
論文 参考訳（メタデータ） (2024-04-12T13:02:08Z) - Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。
FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
論文 参考訳（メタデータ） (2023-09-20T06:51:11Z) - Delving into Sequential Patches for Deepfake Detection [64.19468088546743]
近年の顔偽造技術は、ほとんど追跡不可能なディープフェイクビデオを生み出しており、悪意のある意図で活用することができる。
従来の研究では、ディープフェイク法にまたがる一般化を追求する上で、局所的な低レベルな手がかりと時間的情報の重要性が指摘されてきた。
本稿では,局所的・時間的変換をベースとしたDeepfake Detectionフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-06T16:46:30Z) - TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly
Supervised Learning [17.40885531847159]
ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。
本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。
レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
論文 参考訳（メタデータ） (2021-05-13T07:31:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。