論文の概要: Mover: Mask and Recovery based Facial Part Consistency Aware Method for
Deepfake Video Detection
- arxiv url: http://arxiv.org/abs/2303.01740v2
- Date: Sat, 6 May 2023 02:23:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 22:52:28.653518
- Title: Mover: Mask and Recovery based Facial Part Consistency Aware Method for
Deepfake Video Detection
- Title（参考訳）: mover:deepfakeビデオ検出のためのマスクとリカバリに基づく顔部一貫性認識法
- Authors: Juan Hu, Xin Liao, Difei Gao, Satoshi Tsutsui, Qian Wang, Zheng Qin,
Mike Zheng Shou
- Abstract要約: Moverは新しいDeepfake検出モデルで、不特定の顔の部分の不整合を悪用する。
本稿では,事前学習されたエンコーダとマスク付きオートエンコーダを利用するデュアルネットワークを用いた新しいモデルを提案する。
我々の標準ベンチマーク実験は、Moverが極めて効果的であることを示している。
- 参考スコア（独自算出の注目度）: 33.29744034340998
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deepfake techniques have been widely used for malicious purposes, prompting
extensive research interest in developing Deepfake detection methods. Deepfake
manipulations typically involve tampering with facial parts, which can result
in inconsistencies across different parts of the face. For instance, Deepfake
techniques may change smiling lips to an upset lip, while the eyes remain
smiling. Existing detection methods depend on specific indicators of forgery,
which tend to disappear as the forgery patterns are improved. To address the
limitation, we propose Mover, a new Deepfake detection model that exploits
unspecific facial part inconsistencies, which are inevitable weaknesses of
Deepfake videos. Mover randomly masks regions of interest (ROIs) and recovers
faces to learn unspecific features, which makes it difficult for fake faces to
be recovered, while real faces can be easily recovered. Specifically, given a
real face image, we first pretrain a masked autoencoder to learn facial part
consistency by dividing faces into three parts and randomly masking ROIs, which
are then recovered based on the unmasked facial parts. Furthermore, to maximize
the discrepancy between real and fake videos, we propose a novel model with
dual networks that utilize the pretrained encoder and masked autoencoder,
respectively. 1) The pretrained encoder is finetuned for capturing the encoding
of inconsistent information in the given video. 2) The pretrained masked
autoencoder is utilized for mapping faces and distinguishing real and fake
videos. Our extensive experiments on standard benchmarks demonstrate that Mover
is highly effective.
- Abstract（参考訳）: ディープフェイク技術は悪質な目的で広く使われており、ディープフェイク検出法の開発に広範な研究が進められている。
ディープフェイクの操作は通常、顔の部分の改ざんを伴い、顔のさまざまな部分に不整合をもたらす。
例えば、Deepfakeのテクニックは、笑顔の唇を動揺した唇に変えるが、目は笑顔のままである。
既存の検出方法は偽造の特定の指標に依存しており、偽造パターンが改善されると消滅する傾向がある。
この制限に対処するため、Deepfakeビデオの必然的弱点である非特異な顔部分の不整合を利用した新しいDeepfake検出モデルであるMoverを提案する。
Moverは、興味のある領域(ROI)をランダムにマスクし、顔の回復を非特異的な特徴として学習する。
具体的には,まずマスク付きオートエンコーダを事前訓練し,顔を3つの部分に分割し,無作為にマスクしたROIをランダムにマスクすることで顔部分の一貫性を学習する。
さらに,実映像と偽映像の差異を最大化するために,プリトレーニングエンコーダとマスク付きオートエンコーダを用いたデュアルネットワークを用いた新しいモデルを提案する。
1)予め訓練したエンコーダは、所定のビデオ内の一貫性のない情報のエンコーダをキャプチャするために微調整される。
2) マスク付きオートエンコーダは, 顔のマッピングや, 実写映像と偽映像の区別に利用される。
標準ベンチマークに関する広範な実験は、Moverが極めて効果的であることを示している。
関連論文リスト
- Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。
本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
論文 参考訳（メタデータ） (2024-10-10T13:10:34Z) - Learning Expressive And Generalizable Motion Features For Face Forgery
Detection [52.54404879581527]
本稿では,既存のビデオ分類手法に基づく,シーケンスに基づく効果的な偽造検出フレームワークを提案する。
動作特徴をより表現しやすくするために,別の動作整合ブロックを提案する。
一般的なビデオ分類ネットワークを3つの顔偽造データに対して有望な結果を達成する。
論文 参考訳（メタデータ） (2024-03-08T09:25:48Z) - Recap: Detecting Deepfake Video with Unpredictable Tampered Traces via
Recovering Faces and Mapping Recovered Faces [35.04806736119123]
本稿では,顔の復元による非特異な顔部分の不整合を露呈する新しいディープフェイク検出モデルRecapを提案する。
回復段階において、モデルは興味のある領域をランダムにマスキングし、予測不能な痕跡を残さずに実際の顔を再構築することに焦点を当てる。
マッピング段階では、リカバリフェーズの出力が顔マッピングプロセスの指針となる。
論文 参考訳（メタデータ） (2023-08-19T06:18:11Z) - Face Forgery Detection Based on Facial Region Displacement Trajectory
Series [10.338298543908339]
本研究では,顔領域変位の軌跡に基づく操作映像の検出手法を開発した。
この情報を用いて、操作されたビデオの軌跡列に多次元のアーティファクトを露呈するネットワークを構築した。
論文 参考訳（メタデータ） (2022-12-07T14:47:54Z) - Restricted Black-box Adversarial Attack Against DeepFake Face Swapping [70.82017781235535]
本稿では,顔画像偽造モデルに対する問い合わせを一切必要としない現実的な敵攻撃を提案する。
本手法は,顔の再構成を行う代用モデルに基づいて構築され,置換モデルから非アクセス可能なブラックボックスDeepFakeモデルへの逆例を直接転送する。
論文 参考訳（メタデータ） (2022-04-26T14:36:06Z) - Watch Those Words: Video Falsification Detection Using Word-Conditioned
Facial Motion [82.06128362686445]
本稿では,安価なディープフェイクと視覚的に説得力のあるディープフェイクの両方を扱うためのマルチモーダルな意味法医学的アプローチを提案する。
帰属という概念を利用して、ある話者と他の話者を区別する個人固有の生体パターンを学習する。
既存の個人固有のアプローチとは異なり、この手法は口唇の操作に焦点を当てた攻撃にも有効である。
論文 参考訳（メタデータ） (2021-12-21T01:57:04Z) - End2End Occluded Face Recognition by Masking Corrupted Features [82.27588990277192]
最先端の一般的な顔認識モデルは、隠蔽された顔画像に対してうまく一般化しない。
本稿では,1つのエンドツーエンドのディープニューラルネットワークに基づいて,オクルージョンに頑健な新しい顔認識手法を提案する。
我々のアプローチは、深い畳み込みニューラルネットワークから破損した特徴を発見し、動的に学習されたマスクによってそれらをきれいにする。
論文 参考訳（メタデータ） (2021-08-21T09:08:41Z) - Robust Face-Swap Detection Based on 3D Facial Shape Information [59.32489266682952]
顔のスワップ画像やビデオは、悪意ある攻撃者を惹きつけ、重要な人物の信用を損ねている。
以前のピクセルレベルのアーティファクトに基づく検出技術は、常に不明瞭なパターンにフォーカスするが、利用可能なセマンティックなヒントは無視する。
キーフィギュアの顔・スワップ検出のための外観・形状特徴をフル活用するための生体情報に基づく手法を提案する。
論文 参考訳（メタデータ） (2021-04-28T09:35:48Z) - ID-Reveal: Identity-aware DeepFake Video Detection [24.79483180234883]
ID-Reveal(ID-Reveal)は、時間的顔の特徴を学習する新しいアプローチだ。
偽物のトレーニングデータは必要ありませんが、実際のビデオでトレーニングするだけです。
高圧縮映像における顔再現の精度は平均15%以上向上した。
論文 参考訳（メタデータ） (2020-12-04T10:43:16Z) - Deep Detection for Face Manipulation [10.551455590390418]
顔の操作を検出する深層学習手法を提案する。
特徴抽出と二項分類の2段階からなる。
その結果,ほとんどの場合,最先端技術よりも優れた性能が得られることがわかった。
論文 参考訳（メタデータ） (2020-09-13T06:48:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。