論文の概要: DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection
- arxiv url: http://arxiv.org/abs/2306.00863v1
- Date: Thu, 1 Jun 2023 16:23:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 14:36:10.094167
- Title: DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection
- Title（参考訳）: DeepFake-Adapter:DeepFake検出のためのデュアルレベルアダプタ
- Authors: Rui Shao, Tianxing Wu, Liqiang Nie, Ziwei Liu
- Abstract要約: 既存のディープフェイク検出方法は、目に見えない、または劣化したサンプルに対してうまく一般化できない。
高レベルのセマンティクスは、一般化可能な偽造検出に必要なレシピである。
DeepFake-Adapterは、DeepFake検出のためのパラメータ効率の高い最初のチューニング手法である。
- 参考スコア（独自算出の注目度）: 73.66077273888018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing deepfake detection methods fail to generalize well to unseen or
degraded samples, which can be attributed to the over-fitting of low-level
forgery patterns. Here we argue that high-level semantics are also
indispensable recipes for generalizable forgery detection. Recently, large
pre-trained Vision Transformers (ViTs) have shown promising generalization
capability. In this paper, we propose the first parameter-efficient tuning
approach for deepfake detection, namely DeepFake-Adapter, to effectively and
efficiently adapt the generalizable high-level semantics from large pre-trained
ViTs to aid deepfake detection. Given large pre-trained models but limited
deepfake data, DeepFake-Adapter introduces lightweight yet dedicated dual-level
adapter modules to a ViT while keeping the model backbone frozen. Specifically,
to guide the adaptation process to be aware of both global and local forgery
cues of deepfake data, 1) we not only insert Globally-aware Bottleneck Adapters
in parallel to MLP layers of ViT, 2) but also actively cross-attend
Locally-aware Spatial Adapters with features from ViT. Unlike existing deepfake
detection methods merely focusing on low-level forgery patterns, the forgery
detection process of our model can be regularized by generalizable high-level
semantics from a pre-trained ViT and adapted by global and local low-level
forgeries of deepfake data. Extensive experiments on several standard deepfake
detection benchmarks validate the effectiveness of our approach. Notably,
DeepFake-Adapter demonstrates a convincing advantage under cross-dataset and
cross-manipulation settings. The source code is released at
https://github.com/rshaojimmy/DeepFake-Adapter
- Abstract（参考訳）: 既存のディープフェイク検出法は、低レベルの偽造パターンの過度な適合に起因して、目に見えないサンプルや劣化したサンプルをうまく一般化できない。
ここでは、高レベルの意味論は一般化可能な偽造検出に必須のレシピであると主張する。
近年、大型事前訓練型視覚トランスフォーマ(vits)が有望な一般化能力を示している。
本稿では,DeepFake-Adapterというディープフェイク検出のための第1のパラメータ効率チューニング手法を提案する。
DeepFake-Adapterは、トレーニング済みの大きなモデルと限られたディープフェイクデータによって、軽量だが専用のデュアルレベルのアダプタモジュールをViTに導入し、モデルバックボーンを凍結し続ける。
具体的には、ディープフェイクデータのグローバルおよびローカルの偽造の両方に気付くように適応プロセスを導く。
1) グローバル対応の Bottleneck Adapters を ViT の MLP 層に並列に挿入するだけでなく,
また、vitの機能を備えた、ローカル対応の空間アダプタを積極的にクロスタッチする。
既存のディープフェイク検出手法が低レベルの偽造パターンのみに焦点を当てているのとは異なり、このモデルの偽造検出プロセスは、事前訓練されたvitから一般化された高レベルセマンティクスによって正規化され、ディープフェイクデータのグローバルおよびローカルな低レベル偽造によって適応される。
いくつかの標準ディープフェイク検出ベンチマークによる大規模な実験により,本手法の有効性が検証された。
特に、DeepFake-Adapterは、クロスデータセットとクロス操作設定において、説得力のある優位性を示している。
ソースコードはhttps://github.com/rshaojimmy/DeepFake-Adapterで公開されている。
関連論文リスト
- FakeFormer: Efficient Vulnerability-Driven Transformers for Generalisable Deepfake Detection [12.594436202557446]
本稿では,視覚変換器(ViT)が顔面偽造検出に最適である理由について検討する。
本稿では, 微妙な不整合情報を抽出するためにViTを拡張したFakeFormerというディープフェイク検出フレームワークを提案する。
FF++、Celeb-DF、WildDeepfake、DFD、DFDCP、DFDCなど、さまざまな有名なデータセットで実験が行われている。
論文 参考訳（メタデータ） (2024-10-29T11:36:49Z) - Wavelet-Driven Generalizable Framework for Deepfake Face Forgery Detection [0.0]
Wavelet-CLIPは、ウェーブレット変換とViT-L/14アーキテクチャに由来する機能を統合したディープフェイク検出フレームワークで、CLIP方式で事前トレーニングされている。
提案手法は,データ間一般化における平均AUC0.749,不明瞭なディープフェイクに対するロバスト性0.893を達成し,優れた性能を示す。
論文 参考訳（メタデータ） (2024-09-26T21:16:51Z) - Standing on the Shoulders of Giants: Reprogramming Visual-Language Model for General Deepfake Detection [16.21235742118949]
本稿では,よく訓練された視覚言語モデル(VLM)を一般深度検出に活用する手法を提案する。
入力摂動によってモデル予測を操作するモデル再プログラミングパラダイムにより,本手法はトレーニング済みのVLMモデルを再プログラムすることができる。
いくつかの人気のあるベンチマークデータセットの実験では、ディープフェイク検出のクロスデータセットとクロスマニピュレーションのパフォーマンスが大幅に改善できることが示されている。
論文 参考訳（メタデータ） (2024-09-04T12:46:30Z) - Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach [77.65459419417533]
本稿ではセマンティクス指向のDeepFake検出タスクをサポートするための自動データセット拡張手法を提案する。
また,顔画像とそれに対応するラベルを併用して予測を行う。
提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
論文 参考訳（メタデータ） (2024-08-29T07:11:50Z) - Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。
フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。
設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
論文 参考訳（メタデータ） (2024-08-23T01:53:36Z) - MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。
ViT法はトランスの表現性を生かし,優れた検出性能を実現する。
この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
論文 参考訳（メタデータ） (2024-04-12T13:02:08Z) - Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。
FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
論文 参考訳（メタデータ） (2023-09-20T06:51:11Z) - Delving into Sequential Patches for Deepfake Detection [64.19468088546743]
近年の顔偽造技術は、ほとんど追跡不可能なディープフェイクビデオを生み出しており、悪意のある意図で活用することができる。
従来の研究では、ディープフェイク法にまたがる一般化を追求する上で、局所的な低レベルな手がかりと時間的情報の重要性が指摘されてきた。
本稿では,局所的・時間的変換をベースとしたDeepfake Detectionフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-06T16:46:30Z) - TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly
Supervised Learning [17.40885531847159]
ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。
本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。
レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
論文 参考訳（メタデータ） (2021-05-13T07:31:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。