論文の概要: Detecting and Recovering Sequential DeepFake Manipulation
- arxiv url: http://arxiv.org/abs/2207.02204v1
- Date: Tue, 5 Jul 2022 17:59:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-06 15:31:00.594378
- Title: Detecting and Recovering Sequential DeepFake Manipulation
- Title（参考訳）: シーケンシャルディープフェイク操作の検出と回収
- Authors: Rui Shao, Tianxing Wu, Ziwei Liu
- Abstract要約: シークエンシャルディープフェイク制御(Seq-DeepFake)と呼ばれる新しい研究課題を提案する。
バイナリラベル予測のみを要求する既存のディープフェイク検出タスクとは異なり、Seq-DeepFakeでは、顔操作操作のシーケンシャルベクトルを正確に予測する必要がある。
我々は、この新たな研究課題に対して、包括的なベンチマークを構築し、厳密な評価プロトコルとメトリクスをセットアップする。
- 参考スコア（独自算出の注目度）: 32.34908534582532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since photorealistic faces can be readily generated by facial manipulation
technologies nowadays, potential malicious abuse of these technologies has
drawn great concerns. Numerous deepfake detection methods are thus proposed.
However, existing methods only focus on detecting one-step facial manipulation.
As the emergence of easy-accessible facial editing applications, people can
easily manipulate facial components using multi-step operations in a sequential
manner. This new threat requires us to detect a sequence of facial
manipulations, which is vital for both detecting deepfake media and recovering
original faces afterwards. Motivated by this observation, we emphasize the need
and propose a novel research problem called Detecting Sequential DeepFake
Manipulation (Seq-DeepFake). Unlike the existing deepfake detection task only
demanding a binary label prediction, detecting Seq-DeepFake manipulation
requires correctly predicting a sequential vector of facial manipulation
operations. To support a large-scale investigation, we construct the first
Seq-DeepFake dataset, where face images are manipulated sequentially with
corresponding annotations of sequential facial manipulation vectors. Based on
this new dataset, we cast detecting Seq-DeepFake manipulation as a specific
image-to-sequence (e.g. image captioning) task and propose a concise yet
effective Seq-DeepFake Transformer (SeqFakeFormer). Moreover, we build a
comprehensive benchmark and set up rigorous evaluation protocols and metrics
for this new research problem. Extensive experiments demonstrate the
effectiveness of SeqFakeFormer. Several valuable observations are also revealed
to facilitate future research in broader deepfake detection problems.
- Abstract（参考訳）: 近年, 顔操作技術により, 光写実的顔が容易に生成されつつあるため, これらの技術の悪用が懸念されている。
そこで,多くのディープフェイク検出手法が提案されている。
しかし、既存の方法は1段階の顔操作のみに焦点が当てられている。
容易な顔編集アプリケーションの出現に伴い、複数ステップ操作による顔成分の操作がシーケンシャルに行えるようになった。
この新たな脅威は、ディープフェイクメディアの検出と元の顔の復元の両方に不可欠な、一連の顔操作を検出することを必要とします。
この観察に動機付けられ,シーケンシャルディープフェイク操作(seq-deepfake)検出という新たな研究課題を提案する。
既存のdeepfake検出タスクとは異なり、seq-deepfake操作を検出するには、顔操作のシーケンシャルベクターを正確に予測する必要がある。
大規模な調査を支援するために,顔画像の逐次的操作ベクトルのアノテーションによる逐次的な操作を行う最初のseq-deepfakeデータセットを構築した。
この新たなデータセットに基づいて、Seq-DeepFake操作を特定の画像列(例えば、画像キャプション)タスクとして検出し、簡潔で効果的なSeq-DeepFake変換器(SeqFakeFormer)を提案する。
さらに,この新たな研究課題に対する厳密な評価プロトコルとメトリクスを総合的なベンチマークで構築する。
大規模な実験はSeqFakeFormerの有効性を示す。
いくつかの貴重な観測結果も明らかにされ、より広範なディープフェイク検出問題の研究が促進される。
関連論文リスト
- Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。
本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
論文 参考訳（メタデータ） (2024-10-10T13:10:34Z) - Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach [77.65459419417533]
本稿ではセマンティクス指向のDeepFake検出タスクをサポートするための自動データセット拡張手法を提案する。
また,顔画像とそれに対応するラベルを併用して予測を行う。
提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
論文 参考訳（メタデータ） (2024-08-29T07:11:50Z) - Media Forensics and Deepfake Systematic Survey [0.0]
Deepfakeは、顔の特徴を非常に現実的な方法で生成または変更する、生成的なディープラーニングアルゴリズムである。
映画を良く見せるだけでなく、有名人を模倣して偽情報を広めるのにも使える。
論文 参考訳（メタデータ） (2024-06-19T07:33:33Z) - Semantic Contextualization of Face Forgery: A New Definition, Dataset, and Detection Method [77.65459419417533]
我々は,顔フォージェリを意味的文脈に配置し,意味的顔属性を変更する計算手法が顔フォージェリの源であることを定義した。
階層的なグラフで整理されたラベルの集合に各画像が関連付けられている大規模な顔偽画像データセットを構築した。
本稿では,ラベル関係を捕捉し,その優先課題を優先するセマンティクス指向の顔偽造検出手法を提案する。
論文 参考訳（メタデータ） (2024-05-14T10:24:19Z) - Robust Sequential DeepFake Detection [46.493498963150294]
シークエンシャルディープフェイク制御(Seq-DeepFake)と呼ばれる新しい研究課題を提案する。
バイナリラベル予測のみを要求する既存のディープフェイク検出タスクとは異なり、Seq-DeepFakeでは、顔操作操作のシーケンシャルベクトルを正確に予測する必要がある。
論文 参考訳（メタデータ） (2023-09-26T15:01:43Z) - MMNet: Multi-Collaboration and Multi-Supervision Network for Sequential
Deepfake Detection [81.59191603867586]
シークエンシャルディープフェイク検出は、回復のための正しいシーケンスで偽の顔領域を特定することを目的としている。
偽画像の復元には、逆変換を実装するための操作モデルの知識が必要である。
顔画像の空間スケールや逐次順列化を扱うマルチコラボレーション・マルチスーパービジョンネットワーク(MMNet)を提案する。
論文 参考訳（メタデータ） (2023-07-06T02:32:08Z) - Self-supervised Transformer for Deepfake Detection [112.81127845409002]
現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。
転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。
本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-02T17:44:40Z) - Deepfake Detection for Facial Images with Facemasks [17.238556058316412]
フェイスマスクを用いたディープフェイクにおける最先端のディープフェイク検出モデルの性能を徹底的に評価した。
テマズクディープフェイク検出:顔パタンカードフェイスクロップの2つの手法を提案する。
論文 参考訳（メタデータ） (2022-02-23T09:01:27Z) - Understanding the Security of Deepfake Detection [23.118012417901078]
本研究では,最先端のディープフェイク検出手法の対向的設定における安全性について検討する。
FaceForensics++やFacebook Deepfake Detection Challengeなど、大規模な公開ディープフェイクデータソースを2つ使用しています。
本研究は, 対戦環境におけるディープフェイク検出手法のセキュリティ上の制約を明らかにした。
論文 参考訳（メタデータ） (2021-07-05T14:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。