論文の概要: DeepfakeMAE: Facial Part Consistency Aware Masked Autoencoder for Deepfake Video Detection

• arxiv url: http://arxiv.org/abs/2303.01740v1
• Date: Fri, 3 Mar 2023 06:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 16:02:04.041850
• Title: DeepfakeMAE: Facial Part Consistency Aware Masked Autoencoder for Deepfake Video Detection
• Title（参考訳）: DeepfakeMAE:Deepfakeビデオ検出のための顔部分一致対応自動エンコーダ
• Authors: Juan Hu, Xin Liao, Difei Gao, Satoshi Tsutsui, Zheng Qin, Mike Zheng Shou
• Abstract要約: ディープフェイクは、顔の一部で改ざんすることで、しばしばビデオコンテンツを操作します。 本稿では,ディープフェイク検出モデルであるディープフェイクMAEを提案する。
• 参考スコア（独自算出の注目度）: 29.882688179156464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deepfake techniques have been used maliciously, resulting in strong research interests in developing Deepfake detection methods. Deepfake often manipulates the video content by tampering with some facial parts. However, this manipulation usually breaks the consistency among facial parts, e.g., Deepfake may change smiling lips to upset, but the eyes are still smiling. Existing works propose to spot inconsistency on some specific facial parts (e.g., lips), but they may perform poorly if new Deepfake techniques focus on the specific facial parts used by the detector. Thus, this paper proposes a new Deepfake detection model, DeepfakeMAE, which can utilize the consistencies among all facial parts. Specifically, given a real face image, we first pretrain a masked autoencoder to learn facial part consistency by randomly masking some facial parts and reconstructing missing areas based on the remaining facial parts. Furthermore, to maximize the discrepancy between real and fake videos, we propose a novel model with dual networks that utilize the pretrained encoder and decoder, respectively. 1) The pretrained encoder is finetuned for capturing the overall information of the given video. 2) The pretrained decoder is utilized for distinguishing real and fake videos based on the motivation that DeepfakeMAE's reconstruction should be more similar to a real face image than a fake one. Our extensive experiments on standard benchmarks demonstrate that DeepfakeMAE is highly effective and especially outperforms the previous state-of-the-art method by 3.1% AUC on average in cross-dataset detection.
• Abstract（参考訳）: ディープフェイク技術は悪用され、ディープフェイク検出法の開発に強い研究関心が寄せられている。 ディープフェイクは、しばしば顔の部品をいじってビデオコンテンツを操作する。 しかし、この操作は通常、顔の部分間の一貫性を損なう。例えば、ディープフェイクは笑顔の唇を動揺させるが、目はまだ微笑んでいる。 既存の研究では、特定の顔部分(例えば唇)の矛盾を見つけることを提案したが、新しいディープフェイク技術が検出器が使用する特定の顔部分に焦点を当てた場合、性能は低下する可能性がある。 そこで本研究では,すべての顔部分の成分を有効活用できる新しいディープフェイク検出モデルDeepfakeMAEを提案する。 具体的には,まず,マスク付きオートエンコーダを事前学習し,顔部をランダムにマスキングし,残りの顔部に基づいて欠損領域を再構築することにより,顔部の一貫性を学習する。 さらに,実映像と偽映像の差異を最大化するために,プリトレーニングエンコーダとデコーダをそれぞれ利用するデュアルネットワークを用いた新しいモデルを提案する。 1)予め訓練したエンコーダは、所定の映像の全体情報をキャプチャするために微調整される。 2)DeepfakeMAEの再構成は偽画像よりも実際の顔画像に近いべきであるという動機から,事前訓練したデコーダを用いて実映像と偽動画を区別する。 標準ベンチマーク実験により,DeepfakeMAEは高い有効性を示し,特に従来の最先端手法を平均3.1%のAUCで比較した。

関連論文リスト

• Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
  被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。 本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。 我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
  論文  参考訳（メタデータ） (2024-10-10T13:10:34Z)
• Learning Expressive And Generalizable Motion Features For Face Forgery Detection [52.54404879581527]
  本稿では,既存のビデオ分類手法に基づく,シーケンスに基づく効果的な偽造検出フレームワークを提案する。 動作特徴をより表現しやすくするために,別の動作整合ブロックを提案する。 一般的なビデオ分類ネットワークを3つの顔偽造データに対して有望な結果を達成する。
  論文  参考訳（メタデータ） (2024-03-08T09:25:48Z)
• Recap: Detecting Deepfake Video with Unpredictable Tampered Traces via Recovering Faces and Mapping Recovered Faces [35.04806736119123]
  本稿では,顔の復元による非特異な顔部分の不整合を露呈する新しいディープフェイク検出モデルRecapを提案する。 回復段階において、モデルは興味のある領域をランダムにマスキングし、予測不能な痕跡を残さずに実際の顔を再構築することに焦点を当てる。 マッピング段階では、リカバリフェーズの出力が顔マッピングプロセスの指針となる。
  論文  参考訳（メタデータ） (2023-08-19T06:18:11Z)
• Face Forgery Detection Based on Facial Region Displacement Trajectory Series [10.338298543908339]
  本研究では,顔領域変位の軌跡に基づく操作映像の検出手法を開発した。 この情報を用いて、操作されたビデオの軌跡列に多次元のアーティファクトを露呈するネットワークを構築した。
  論文  参考訳（メタデータ） (2022-12-07T14:47:54Z)
• Restricted Black-box Adversarial Attack Against DeepFake Face Swapping [70.82017781235535]
  本稿では,顔画像偽造モデルに対する問い合わせを一切必要としない現実的な敵攻撃を提案する。 本手法は,顔の再構成を行う代用モデルに基づいて構築され,置換モデルから非アクセス可能なブラックボックスDeepFakeモデルへの逆例を直接転送する。
  論文  参考訳（メタデータ） (2022-04-26T14:36:06Z)
• Watch Those Words: Video Falsification Detection Using Word-Conditioned Facial Motion [82.06128362686445]
  本稿では,安価なディープフェイクと視覚的に説得力のあるディープフェイクの両方を扱うためのマルチモーダルな意味法医学的アプローチを提案する。 帰属という概念を利用して、ある話者と他の話者を区別する個人固有の生体パターンを学習する。 既存の個人固有のアプローチとは異なり、この手法は口唇の操作に焦点を当てた攻撃にも有効である。
  論文  参考訳（メタデータ） (2021-12-21T01:57:04Z)
• End2End Occluded Face Recognition by Masking Corrupted Features [82.27588990277192]
  最先端の一般的な顔認識モデルは、隠蔽された顔画像に対してうまく一般化しない。 本稿では,1つのエンドツーエンドのディープニューラルネットワークに基づいて,オクルージョンに頑健な新しい顔認識手法を提案する。 我々のアプローチは、深い畳み込みニューラルネットワークから破損した特徴を発見し、動的に学習されたマスクによってそれらをきれいにする。
  論文  参考訳（メタデータ） (2021-08-21T09:08:41Z)
• Robust Face-Swap Detection Based on 3D Facial Shape Information [59.32489266682952]
  顔のスワップ画像やビデオは、悪意ある攻撃者を惹きつけ、重要な人物の信用を損ねている。 以前のピクセルレベルのアーティファクトに基づく検出技術は、常に不明瞭なパターンにフォーカスするが、利用可能なセマンティックなヒントは無視する。 キーフィギュアの顔・スワップ検出のための外観・形状特徴をフル活用するための生体情報に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-04-28T09:35:48Z)
• ID-Reveal: Identity-aware DeepFake Video Detection [24.79483180234883]
  ID-Reveal(ID-Reveal)は、時間的顔の特徴を学習する新しいアプローチだ。 偽物のトレーニングデータは必要ありませんが、実際のビデオでトレーニングするだけです。 高圧縮映像における顔再現の精度は平均15%以上向上した。
  論文  参考訳（メタデータ） (2020-12-04T10:43:16Z)
• Deep Detection for Face Manipulation [10.551455590390418]
  顔の操作を検出する深層学習手法を提案する。 特徴抽出と二項分類の2段階からなる。 その結果,ほとんどの場合,最先端技術よりも優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T06:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。