論文の概要: DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection
- arxiv url: http://arxiv.org/abs/2306.00863v1
- Date: Thu, 1 Jun 2023 16:23:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 14:36:10.094167
- Title: DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection
- Title(参考訳): DeepFake-Adapter:DeepFake検出のためのデュアルレベルアダプタ
- Authors: Rui Shao, Tianxing Wu, Liqiang Nie, Ziwei Liu
- Abstract要約: 既存のディープフェイク検出方法は、目に見えない、または劣化したサンプルに対してうまく一般化できない。
高レベルのセマンティクスは、一般化可能な偽造検出に必要なレシピである。
DeepFake-Adapterは、DeepFake検出のためのパラメータ効率の高い最初のチューニング手法である。
- 参考スコア(独自算出の注目度): 73.66077273888018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing deepfake detection methods fail to generalize well to unseen or
degraded samples, which can be attributed to the over-fitting of low-level
forgery patterns. Here we argue that high-level semantics are also
indispensable recipes for generalizable forgery detection. Recently, large
pre-trained Vision Transformers (ViTs) have shown promising generalization
capability. In this paper, we propose the first parameter-efficient tuning
approach for deepfake detection, namely DeepFake-Adapter, to effectively and
efficiently adapt the generalizable high-level semantics from large pre-trained
ViTs to aid deepfake detection. Given large pre-trained models but limited
deepfake data, DeepFake-Adapter introduces lightweight yet dedicated dual-level
adapter modules to a ViT while keeping the model backbone frozen. Specifically,
to guide the adaptation process to be aware of both global and local forgery
cues of deepfake data, 1) we not only insert Globally-aware Bottleneck Adapters
in parallel to MLP layers of ViT, 2) but also actively cross-attend
Locally-aware Spatial Adapters with features from ViT. Unlike existing deepfake
detection methods merely focusing on low-level forgery patterns, the forgery
detection process of our model can be regularized by generalizable high-level
semantics from a pre-trained ViT and adapted by global and local low-level
forgeries of deepfake data. Extensive experiments on several standard deepfake
detection benchmarks validate the effectiveness of our approach. Notably,
DeepFake-Adapter demonstrates a convincing advantage under cross-dataset and
cross-manipulation settings. The source code is released at
https://github.com/rshaojimmy/DeepFake-Adapter
- Abstract(参考訳): 既存のディープフェイク検出法は、低レベルの偽造パターンの過度な適合に起因して、目に見えないサンプルや劣化したサンプルをうまく一般化できない。
ここでは、高レベルの意味論は一般化可能な偽造検出に必須のレシピであると主張する。
近年、大型事前訓練型視覚トランスフォーマ(vits)が有望な一般化能力を示している。
本稿では,DeepFake-Adapterというディープフェイク検出のための第1のパラメータ効率チューニング手法を提案する。
DeepFake-Adapterは、トレーニング済みの大きなモデルと限られたディープフェイクデータによって、軽量だが専用のデュアルレベルのアダプタモジュールをViTに導入し、モデルバックボーンを凍結し続ける。
具体的には、ディープフェイクデータのグローバルおよびローカルの偽造の両方に気付くように適応プロセスを導く。
1) グローバル対応の Bottleneck Adapters を ViT の MLP 層に並列に挿入するだけでなく,
また、vitの機能を備えた、ローカル対応の空間アダプタを積極的にクロスタッチする。
既存のディープフェイク検出手法が低レベルの偽造パターンのみに焦点を当てているのとは異なり、このモデルの偽造検出プロセスは、事前訓練されたvitから一般化された高レベルセマンティクスによって正規化され、ディープフェイクデータのグローバルおよびローカルな低レベル偽造によって適応される。
いくつかの標準ディープフェイク検出ベンチマークによる大規模な実験により,本手法の有効性が検証された。
特に、DeepFake-Adapterは、クロスデータセットとクロス操作設定において、説得力のある優位性を示している。
ソースコードはhttps://github.com/rshaojimmy/DeepFake-Adapterで公開されている。
関連論文リスト
- Facial Forgery-based Deepfake Detection using Fine-Grained Features [7.378937711027777]
ディープフェイクによる顔の偽造は、大きなセキュリティリスクを引き起こし、深刻な社会的懸念を引き起こしている。
我々は,詳細な分類問題としてディープフェイク検出を定式化し,それに対する新たなきめ細かな解を提案する。
本手法は, 背景雑音を効果的に抑制し, 様々なスケールの識別特徴を学習することにより, 微妙で一般化可能な特徴を学習し, 深度検出を行う。
論文 参考訳(メタデータ) (2023-10-10T21:30:05Z) - Improving Cross-dataset Deepfake Detection with Deep Information
Decomposition [57.284370468207214]
ディープフェイク技術は、セキュリティと社会的信頼に重大な脅威をもたらす。
既存の検出方法は、クロスデータセットのシナリオに直面した場合、パフォーマンスの急激な低下に悩まされる。
本稿では,深層情報分解(DID)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-30T12:30:25Z) - DFIL: Deepfake Incremental Learning by Exploiting Domain-invariant
Forgery Clues [32.045504965382015]
現在のディープフェイク検出モデルは、大規模なデータセットでトレーニングすることで、一般的に偽画像を認識することができる。
検出モデルの精度は、データ分布の違いにより、新しいディープフェイク法によって生成された画像に対して著しく低下する。
本稿では,ディープフェイク検出モデルの一般化を改善するための新たなインクリメンタルラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T07:02:26Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - Delving into Sequential Patches for Deepfake Detection [64.19468088546743]
近年の顔偽造技術は、ほとんど追跡不可能なディープフェイクビデオを生み出しており、悪意のある意図で活用することができる。
従来の研究では、ディープフェイク法にまたがる一般化を追求する上で、局所的な低レベルな手がかりと時間的情報の重要性が指摘されてきた。
本稿では,局所的・時間的変換をベースとしたDeepfake Detectionフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-06T16:46:30Z) - On Improving Cross-dataset Generalization of Deepfake Detectors [1.0152838128195467]
ディープフェイクによる顔の操作は、大きなセキュリティリスクを引き起こし、深刻な社会的懸念を引き起こしている。
我々は、教師付きおよび強化学習(RL)のハイブリッド組み合わせとして深層偽検出を定式化し、そのクロスデータセット一般化性能を改善する。
提案手法は,ディープフェイク検出器のクロスデータセット一般化における既存の研究よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-04-08T20:34:53Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳(メタデータ) (2022-03-04T09:08:50Z) - Self-supervised Transformer for Deepfake Detection [112.81127845409002]
現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。
転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。
本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2022-03-02T17:44:40Z) - TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly
Supervised Learning [17.40885531847159]
ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。
本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。
レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
論文 参考訳(メタデータ) (2021-05-13T07:31:08Z) - One Detector to Rule Them All: Towards a General Deepfake Attack
Detection Framework [19.762839181838388]
本稿では,LSTMに基づくResidual Network(CLRNet)を導入し,未知の未確認ディープフェイクに対処する。
我々のCLRNetモデルは、93.86%の精度で高品質なDFWビデオに対してうまく一般化できることを実証した。
論文 参考訳(メタデータ) (2021-05-01T08:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。