論文の概要: Quality-Agnostic Deepfake Detection with Intra-model Collaborative
Learning
- arxiv url: http://arxiv.org/abs/2309.05911v1
- Date: Tue, 12 Sep 2023 02:01:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 14:39:11.812573
- Title: Quality-Agnostic Deepfake Detection with Intra-model Collaborative
Learning
- Title(参考訳): モデル内協調学習による品質非依存なディープフェイク検出
- Authors: Binh M. Le and Simon S. Woo
- Abstract要約: Deepfakeは最近、セキュリティ上の脅威と偽情報の拡散に関して、多くの社会的懸念を提起した。
多くのSOTAアプローチは、特定のディープフェイクビデオ品質タイプを検出するために単一の特定モデルを使用することによって制限される。
本研究では,異なる品質のディープフェイクを効果的かつ同時検出できる汎用的なモデル内協調学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 26.517887637150594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deepfake has recently raised a plethora of societal concerns over its
possible security threats and dissemination of fake information. Much research
on deepfake detection has been undertaken. However, detecting low quality as
well as simultaneously detecting different qualities of deepfakes still remains
a grave challenge. Most SOTA approaches are limited by using a single specific
model for detecting certain deepfake video quality type. When constructing
multiple models with prior information about video quality, this kind of
strategy incurs significant computational cost, as well as model and training
data overhead. Further, it cannot be scalable and practical to deploy in
real-world settings. In this work, we propose a universal intra-model
collaborative learning framework to enable the effective and simultaneous
detection of different quality of deepfakes. That is, our approach is the
quality-agnostic deepfake detection method, dubbed QAD . In particular, by
observing the upper bound of general error expectation, we maximize the
dependency between intermediate representations of images from different
quality levels via Hilbert-Schmidt Independence Criterion. In addition, an
Adversarial Weight Perturbation module is carefully devised to enable the model
to be more robust against image corruption while boosting the overall model's
performance. Extensive experiments over seven popular deepfake datasets
demonstrate the superiority of our QAD model over prior SOTA benchmarks.
- Abstract(参考訳): Deepfakeは最近、セキュリティ上の脅威と偽情報の拡散に関して、多くの社会的懸念を提起した。
ディープフェイク検出に関する多くの研究が行われている。
しかし、低品質の検出とディープフェイクの異なる品質の同時検出は依然として大きな課題である。
多くのSOTAアプローチは、特定のディープフェイクビデオ品質タイプを検出するために単一の特定モデルを使用することによって制限される。
ビデオ品質に関する事前情報を持つ複数のモデルを構築する場合、この種の戦略は、モデルとトレーニングデータのオーバーヘッドだけでなく、かなりの計算コストを伴います。
さらに、現実世界の環境でのデプロイは、スケーラブルで実用的なものではない。
本研究では,異なる品質のディープフェイクを効果的かつ同時検出できる汎用的なモデル内協調学習フレームワークを提案する。
すなわち,本手法はQADと呼ばれる品質に依存しないディープフェイク検出法である。
特に、一般的な誤差期待値の上限を観測することにより、Hilbert-Schmidt Independence Criterionを介して異なる品質レベルの画像の中間表現間の依存性を最大化する。
さらに、Adversarial Weight Perturbationモジュールを慎重に設計し、モデル全体のパフォーマンスを高めながら、画像の破損に対してより堅牢なモデルを可能にする。
人気のある7つのdeepfakeデータセットに関する広範な実験は、以前のsomaベンチマークよりもqadモデルの優れていることを示している。
関連論文リスト
- How Close are Other Computer Vision Tasks to Deepfake Detection? [42.79190870582115]
教師なしの方法でデータを分離するために,モデルの生容量を評価するための新しい測定手法「モデル分離可能性」を提案する。
分析の結果,事前学習した顔認識モデルは,他のモデルよりもディープフェイク検出と密接な関係があることが判明した。
自己教師型モデルは最高の結果をもたらすが、過度に適合するリスクがある。
論文 参考訳(メタデータ) (2023-10-02T06:32:35Z) - Improving Cross-dataset Deepfake Detection with Deep Information
Decomposition [57.284370468207214]
ディープフェイク技術は、セキュリティと社会的信頼に重大な脅威をもたらす。
既存の検出方法は、クロスデータセットのシナリオに直面した場合、パフォーマンスの急激な低下に悩まされる。
本稿では,深層情報分解(DID)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-30T12:30:25Z) - DFIL: Deepfake Incremental Learning by Exploiting Domain-invariant
Forgery Clues [32.045504965382015]
現在のディープフェイク検出モデルは、大規模なデータセットでトレーニングすることで、一般的に偽画像を認識することができる。
検出モデルの精度は、データ分布の違いにより、新しいディープフェイク法によって生成された画像に対して著しく低下する。
本稿では,ディープフェイク検出モデルの一般化を改善するための新たなインクリメンタルラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T07:02:26Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for
Exposing Deepfakes [7.553507857251396]
本研究では,検出問題を(一級)アウト・オブ・ディストリビューション検出タスクとして形式化する,SeeABLEと呼ばれる新しいディープフェイク検出器を提案する。
SeeABLEは、新しい回帰ベースの有界コントラスト損失を使用して、乱れた顔を事前定義されたプロトタイプにプッシュする。
我々のモデルは競合する最先端の検出器よりも高い性能を示しながら、高度に一般化能力を示す。
論文 参考訳(メタデータ) (2022-11-21T09:38:30Z) - Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。
具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。
提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2022-09-12T15:05:41Z) - Metamorphic Testing-based Adversarial Attack to Fool Deepfake Detectors [2.0649235321315285]
ディープフェイク検出技術はディープフェイクメディアを見つけるのに役立つ。
現在のディープフェイク検出モデルは、卓越した精度(>90%)を達成することができる
本研究は、メイクアップを、ディープフェイク検出器を騙す可能性のある敵攻撃として特定する。
論文 参考訳(メタデータ) (2022-04-19T02:24:30Z) - Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。
弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。
これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
論文 参考訳(メタデータ) (2022-03-22T20:24:21Z) - Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。
本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。
種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
論文 参考訳(メタデータ) (2021-05-29T21:22:24Z) - TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly
Supervised Learning [17.40885531847159]
ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。
本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。
レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
論文 参考訳(メタデータ) (2021-05-13T07:31:08Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳(メタデータ) (2021-04-20T05:43:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。