論文の概要: SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for
Exposing Deepfakes
- arxiv url: http://arxiv.org/abs/2211.11296v2
- Date: Sun, 1 Oct 2023 23:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 20:49:02.083238
- Title: SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for
Exposing Deepfakes
- Title(参考訳): SeeABLE:Deepfakesのソフトな差異と境界付きコントラスト学習
- Authors: Nicolas Larue, Ngoc-Son Vu, Vitomir Struc, Peter Peer, Vassilis
Christophides
- Abstract要約: 本研究では,検出問題を(一級)アウト・オブ・ディストリビューション検出タスクとして形式化する,SeeABLEと呼ばれる新しいディープフェイク検出器を提案する。
SeeABLEは、新しい回帰ベースの有界コントラスト損失を使用して、乱れた顔を事前定義されたプロトタイプにプッシュする。
我々のモデルは競合する最先端の検出器よりも高い性能を示しながら、高度に一般化能力を示す。
- 参考スコア(独自算出の注目度): 7.553507857251396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern deepfake detectors have achieved encouraging results, when training
and test images are drawn from the same data collection. However, when these
detectors are applied to images produced with unknown deepfake-generation
techniques, considerable performance degradations are commonly observed. In
this paper, we propose a novel deepfake detector, called SeeABLE, that
formalizes the detection problem as a (one-class) out-of-distribution detection
task and generalizes better to unseen deepfakes. Specifically, SeeABLE first
generates local image perturbations (referred to as soft-discrepancies) and
then pushes the perturbed faces towards predefined prototypes using a novel
regression-based bounded contrastive loss. To strengthen the generalization
performance of SeeABLE to unknown deepfake types, we generate a rich set of
soft discrepancies and train the detector: (i) to localize, which part of the
face was modified, and (ii) to identify the alteration type. To demonstrate the
capabilities of SeeABLE, we perform rigorous experiments on several widely-used
deepfake datasets and show that our model convincingly outperforms competing
state-of-the-art detectors, while exhibiting highly encouraging generalization
capabilities.
- Abstract(参考訳): 現代のディープフェイク検出器は、トレーニングとテスト画像が同じデータ収集から引き出されるとき、奨励的な結果を得た。
しかし、これらの検出器を未知のディープフェイク生成技術で生成した画像に適用すると、かなりの性能劣化がよく観察される。
本稿では, (一級) 分散検出タスクとして検出問題を定式化し, 未知のディープフェイクを一般化する, シーアブルと呼ばれる新しいディープフェイク検出器を提案する。
具体的には、SeeABLEはまず局所的な画像摂動(ソフトディプレパンシーと呼ばれる)を生成し、その後、新しい回帰ベースの有界コントラスト損失を用いて、乱れた顔を予め定義されたプロトタイプに向かって押し出す。
未知のディープフェイクタイプへの可視性の一般化性能を高めるために, ソフトな差異を豊富に生成し, 検出器を訓練する。
(i)顔のどの部分が変更されたかを局在化すること、及び
(ii) 変更タイプを特定する。
可視性を示すために,我々は広く使用されているdeepfakeデータセットで厳密な実験を行い,我々のモデルが,高い一般化能力を示しながら,競合する最先端の検出器よりも説得力に優れていることを示す。
関連論文リスト
- UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳(メタデータ) (2024-07-26T20:51:54Z) - FakeInversion: Learning to Detect Images from Unseen Text-to-Image Models by Inverting Stable Diffusion [18.829659846356765]
本稿では,オープンソース事前学習型安定拡散モデルを用いて得られた特徴を用いた新しい合成画像検出器を提案する。
これらの逆転により、検出器は高視力の未確認発電機によく一般化できることが示される。
本稿では, 逆画像探索を用いて, 検出器評価におけるスタイリスティックおよびテーマバイアスを緩和する, 新たな挑戦的評価プロトコルを提案する。
論文 参考訳(メタデータ) (2024-06-12T19:14:58Z) - AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors [24.78672820633581]
深層生成モデルは、偽情報や著作権侵害に対する懸念を高めながら、驚くほど偽のイメージを作成することができる。
実画像と偽画像とを区別するためにディープフェイク検出技術が開発された。
本稿では,視覚言語モデルとアクシデントチューニング技術を用いて,Antifake Promptと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-10-26T14:23:45Z) - CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。
既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。
顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
論文 参考訳(メタデータ) (2023-09-30T12:30:25Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - Attention Consistency Refined Masked Frequency Forgery Representation
for Generalizing Face Forgery Detection [96.539862328788]
既存の偽造検出方法は、未確認領域の真正性を決定する不満足な一般化能力に悩まされている。
ACMF(Attention Consistency Refined masked frequency forgery representation model)を提案する。
いくつかのパブリックフェイスフォージェリーデータセットの実験結果から,提案手法の性能は最先端の手法と比較して優れていることが示された。
論文 参考訳(メタデータ) (2023-07-21T08:58:49Z) - On the Vulnerability of DeepFake Detectors to Attacks Generated by
Denoising Diffusion Models [0.5827521884806072]
我々は,最新の生成手法によって生成されたブラックボックス攻撃に対する単一イメージのディープフェイク検出器の脆弱性について検討した。
われわれの実験はFaceForensics++で行われている。
以上の結果から,ディープフェイクの再建過程において,1段階の偏微分拡散のみを用いることで,検出可能性を大幅に低下させる可能性が示唆された。
論文 参考訳(メタデータ) (2023-07-11T15:57:51Z) - Towards A Robust Deepfake Detector:Common Artifact Deepfake Detection
Model [14.308886041268973]
そこで本研究では,コモン・アーティファクト・ディープフェイク検出モデルという新しいディープフェイク検出手法を提案する。
共通アーティファクトの特徴を学習する上での大きな障害は、モデルがアイデンティティ表現機能によって容易に誤解されることである。
本手法は,Implicit Identity Leakageの影響を効果的に低減し,最先端技術よりも大きなマージンで性能を向上する。
論文 参考訳(メタデータ) (2022-10-26T04:02:29Z) - FrePGAN: Robust Deepfake Detection Using Frequency-level Perturbations [12.027711542565315]
我々は、既知のGANモデルと見えないGANモデルの両方に対してディープフェイク検出器を一般化するためのフレームワークを設計する。
本フレームワークは,実画像と区別できないような周波数レベルの摂動マップを生成する。
実験のために、GANモデル、色操作、オブジェクトカテゴリのトレーニング設定から異なる新しいテストシナリオを設計する。
論文 参考訳(メタデータ) (2022-02-07T16:45:11Z) - Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。
本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。
種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
論文 参考訳(メタデータ) (2021-05-29T21:22:24Z) - Artificial Fingerprinting for Generative Models: Rooting Deepfake
Attribution in Training Data [64.65952078807086]
光現実性画像生成は、GAN(Generative Adversarial Network)のブレークスルーにより、新たな品質レベルに達した。
しかし、このようなディープフェイクのダークサイド、すなわち生成されたメディアの悪意ある使用は、視覚的誤報に関する懸念を提起する。
我々は,モデルに人工指紋を導入することによって,深度検出の積極的な,持続可能なソリューションを模索する。
論文 参考訳(メタデータ) (2020-07-16T16:49:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。