論文の概要: Robust Sequential DeepFake Detection
- arxiv url: http://arxiv.org/abs/2309.14991v1
- Date: Tue, 26 Sep 2023 15:01:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 13:12:50.979441
- Title: Robust Sequential DeepFake Detection
- Title(参考訳): ロバストシーケンスディープフェイク検出
- Authors: Rui Shao, Tianxing Wu, Ziwei Liu
- Abstract要約: シークエンシャルディープフェイク制御(Seq-DeepFake)と呼ばれる新しい研究課題を提案する。
バイナリラベル予測のみを要求する既存のディープフェイク検出タスクとは異なり、Seq-DeepFakeでは、顔操作操作のシーケンシャルベクトルを正確に予測する必要がある。
- 参考スコア(独自算出の注目度): 46.493498963150294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since photorealistic faces can be readily generated by facial manipulation
technologies nowadays, potential malicious abuse of these technologies has
drawn great concerns. Numerous deepfake detection methods are thus proposed.
However, existing methods only focus on detecting one-step facial manipulation.
As the emergence of easy-accessible facial editing applications, people can
easily manipulate facial components using multi-step operations in a sequential
manner. This new threat requires us to detect a sequence of facial
manipulations, which is vital for both detecting deepfake media and recovering
original faces afterwards. Motivated by this observation, we emphasize the need
and propose a novel research problem called Detecting Sequential DeepFake
Manipulation (Seq-DeepFake). Unlike the existing deepfake detection task only
demanding a binary label prediction, detecting Seq-DeepFake manipulation
requires correctly predicting a sequential vector of facial manipulation
operations. To support a large-scale investigation, we construct the first
Seq-DeepFake dataset, where face images are manipulated sequentially with
corresponding annotations of sequential facial manipulation vectors. Based on
this new dataset, we cast detecting Seq-DeepFake manipulation as a specific
image-to-sequence task and propose a concise yet effective Seq-DeepFake
Transformer (SeqFakeFormer). To better reflect real-world deepfake data
distributions, we further apply various perturbations on the original
Seq-DeepFake dataset and construct the more challenging Sequential DeepFake
dataset with perturbations (Seq-DeepFake-P). To exploit deeper correlation
between images and sequences when facing Seq-DeepFake-P, a dedicated
Seq-DeepFake Transformer with Image-Sequence Reasoning (SeqFakeFormer++) is
devised, which builds stronger correspondence between image-sequence pairs for
more robust Seq-DeepFake detection.
- Abstract(参考訳): 近年, 顔操作技術により, 光写実的顔が容易に生成されつつあるため, これらの技術の悪用が懸念されている。
そこで,多くのディープフェイク検出手法が提案されている。
しかし、既存の方法は1段階の顔操作のみに焦点が当てられている。
容易な顔編集アプリケーションの出現に伴い、複数ステップ操作による顔成分の操作がシーケンシャルに行えるようになった。
この新たな脅威は、ディープフェイクメディアの検出と元の顔の復元の両方に不可欠な、一連の顔操作を検出することを必要とします。
この観察に動機付けられ,シーケンシャルディープフェイク操作(seq-deepfake)検出という新たな研究課題を提案する。
既存のdeepfake検出タスクとは異なり、seq-deepfake操作を検出するには、顔操作のシーケンシャルベクターを正確に予測する必要がある。
大規模な調査を支援するために,顔画像の逐次的操作ベクトルのアノテーションによる逐次的な操作を行う最初のseq-deepfakeデータセットを構築した。
この新たなデータセットに基づいて、Seq-DeepFake操作を特定の画像からシーケンスへのタスクとして検出し、簡潔で効果的なSeq-DeepFake変換器(SeqFakeFormer)を提案する。
実世界のディープフェイクデータ分布をよりよく反映するために、元のSeq-DeepFakeデータセットに様々な摂動を適用し、摂動を伴うより困難なシークエンシャルディープフェイクデータセットを構築する(Seq-DeepFake-P)。
Seq-DeepFake-Pと対向する際の画像とシーケンスのより深い相関を利用するために、Seq-DeepFakeのより堅牢なSeq-DeepFake検出のために、SeqFakeFormer++(Image-Sequence Reasoning)を備えた専用Seq-DeepFake変換器を開発した。
関連論文リスト
- Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。
本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
論文 参考訳(メタデータ) (2024-10-10T13:10:34Z) - Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach [77.65459419417533]
本稿ではセマンティクス指向のDeepFake検出タスクをサポートするための自動データセット拡張手法を提案する。
また,顔画像とそれに対応するラベルを併用して予測を行う。
提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
論文 参考訳(メタデータ) (2024-08-29T07:11:50Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-07T07:19:45Z) - MMNet: Multi-Collaboration and Multi-Supervision Network for Sequential
Deepfake Detection [81.59191603867586]
シークエンシャルディープフェイク検出は、回復のための正しいシーケンスで偽の顔領域を特定することを目的としている。
偽画像の復元には、逆変換を実装するための操作モデルの知識が必要である。
顔画像の空間スケールや逐次順列化を扱うマルチコラボレーション・マルチスーパービジョンネットワーク(MMNet)を提案する。
論文 参考訳(メタデータ) (2023-07-06T02:32:08Z) - Detecting and Recovering Sequential DeepFake Manipulation [32.34908534582532]
シークエンシャルディープフェイク制御(Seq-DeepFake)と呼ばれる新しい研究課題を提案する。
バイナリラベル予測のみを要求する既存のディープフェイク検出タスクとは異なり、Seq-DeepFakeでは、顔操作操作のシーケンシャルベクトルを正確に予測する必要がある。
我々は、この新たな研究課題に対して、包括的なベンチマークを構築し、厳密な評価プロトコルとメトリクスをセットアップする。
論文 参考訳(メタデータ) (2022-07-05T17:59:33Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳(メタデータ) (2021-04-20T05:43:44Z) - Improving DeepFake Detection Using Dynamic Face Augmentation [0.8793721044482612]
ほとんどの公開可能なDeepFake検出データセットには、限られたバリエーションがある。
ディープニューラルネットワークは、DeepFakeコンテンツの操作機能を検出するための学習ではなく、顔の特徴にオーバーフィットする傾向があります。
DeepFake検出を改善するために、CNN(Convolutional Neural Networks)をトレーニングするためのデータ拡張方法であるFace-Cutoutを紹介します。
論文 参考訳(メタデータ) (2021-02-18T20:25:45Z) - Fighting Deepfake by Exposing the Convolutional Traces on Images [0.0]
FACEAPPのようなモバイルアプリは、最も高度なGAN(Generative Adversarial Networks)を使用して、人間の顔写真に極端な変換を生成する。
この種のメディアオブジェクトはDeepfakeという名前を取って、マルチメディアの法医学分野における新たな課題であるDeepfake検出課題を提起した。
本稿では,画像からディープフェイク指紋を抽出する手法を提案する。
論文 参考訳(メタデータ) (2020-08-07T08:49:23Z) - Fake face detection via adaptive manipulation traces extraction network [9.892936175042939]
本稿では,画像内容の抑制と操作トレースの強調のために,適応的な操作トレース抽出ネットワーク (AMTEN) を提案する。
AMTENは適応的な畳み込み層を利用して画像内の操作トレースを予測する。
様々なFIM技術によって生成された偽の顔画像を検出する場合、AMTENnetは平均精度98.52%に達する。
論文 参考訳(メタデータ) (2020-05-11T09:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。