論文の概要: Two-branch Recurrent Network for Isolating Deepfakes in Videos

• arxiv url: http://arxiv.org/abs/2008.03412v3
• Date: Fri, 4 Sep 2020 01:03:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 11:47:28.387341
• Title: Two-branch Recurrent Network for Isolating Deepfakes in Videos
• Title（参考訳）: ビデオ中のディープフェイクを分離する2分岐リカレントネットワーク
• Authors: Iacopo Masi, Aditya Killekar, Royston Marian Mascarenhas, Shenoy Pratik Gurudatt, Wael AbdAlmageed
• Abstract要約: 本稿では,2分岐ネットワーク構造に基づくディープフェイク検出手法を提案する。 1つのブランチは元の情報を伝達し、もう1つのブランチは顔の内容を抑制する。 当社の2つの新しいコンポーネントは、FaceForensics++、Celeb-DF、FacebookのDFDCプレビューベンチマークで有望な結果を示している。
• 参考スコア（独自算出の注目度）: 17.59209853264258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current spike of hyper-realistic faces artificially generated using deepfakes calls for media forensics solutions that are tailored to video streams and work reliably with a low false alarm rate at the video level. We present a method for deepfake detection based on a two-branch network structure that isolates digitally manipulated faces by learning to amplify artifacts while suppressing the high-level face content. Unlike current methods that extract spatial frequencies as a preprocessing step, we propose a two-branch structure: one branch propagates the original information, while the other branch suppresses the face content yet amplifies multi-band frequencies using a Laplacian of Gaussian (LoG) as a bottleneck layer. To better isolate manipulated faces, we derive a novel cost function that, unlike regular classification, compresses the variability of natural faces and pushes away the unrealistic facial samples in the feature space. Our two novel components show promising results on the FaceForensics++, Celeb-DF, and Facebook's DFDC preview benchmarks, when compared to prior work. We then offer a full, detailed ablation study of our network architecture and cost function. Finally, although the bar is still high to get very remarkable figures at a very low false alarm rate, our study shows that we can achieve good video-level performance when cross-testing in terms of video-level AUC.
• Abstract（参考訳）: ディープフェイクを使って人工的に生成された超現実的顔のスパイクは、ビデオストリームに合わせて調整され、ビデオレベルで低い誤報率で確実に機能するメディア・フォレンジス・ソリューションを要求する。 本稿では,高レベルな顔コンテンツを抑制しつつ,デジタル操作された顔から切り離し,人工物を増幅する2分岐ネットワーク構造に基づくディープフェイク検出手法を提案する。 先行処理として空間周波数を抽出する現在の手法と異なり、1つの分岐が元の情報を伝搬し、もう1つの分岐が顔内容を抑制しながらガウス(log)のラプラシアンをボトルネック層としてマルチバンド周波数を増幅する2つの分岐構造を提案する。 操作された顔をより分離するために、通常の分類とは異なり、自然な顔のバラツキを圧縮し、特徴空間内の非現実的な顔サンプルを除去する新たなコスト関数を導出する。 当社の2つの新しいコンポーネントは、以前の作業と比較して、FaceForensics++、Celeb-DF、FacebookのDFDCプレビューベンチマークで有望な結果を示している。 次に、ネットワークアーキテクチャとコスト関数の完全な詳細なアブレーション研究を行います。 最後に、バーは依然として非常に低い誤報率で目立った数字を得るには高いが、ビデオレベルのAUCでクロステストを行う際には、優れたビデオレベルのパフォーマンスが得られることを示す。

関連論文リスト

• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• AltFreezing for More General Video Face Forgery Detection [138.5732617371004]
  顔偽造検出のための1つのモデルにおいて,空間的および見えない時間的アーティファクトの両方をキャプチャすることを提案する。 より一般的な顔偽造検出のためのAltFreezingと呼ばれる新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-17T08:24:58Z)
• Unmasking Deepfakes: Masked Autoencoding Spatiotemporal Transformers for Enhanced Video Forgery Detection [19.432851794777754]
  本稿では,自己教師型マスク自動符号化装置によって事前訓練された視覚変換器を用いたディープフェイク映像の検出手法を提案する。 提案手法は,ビデオの個々のRGBフレームから空間情報を学習することに焦点を当てた2つのコンポーネントで構成され,一方は連続するフレームから生成された光フロー場から時間的整合性情報を学習する。
  論文  参考訳（メタデータ） (2023-06-12T05:49:23Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in VIS and NIR Scenario [87.72258480670627]
  既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。 本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
  論文  参考訳（メタデータ） (2022-07-05T09:27:53Z)
• Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
  既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-03-04T09:08:50Z)
• Sharp Multiple Instance Learning for DeepFake Video Detection [54.12548421282696]
  我々はDeepFakeビデオに、ビデオレベルのラベルのみを提供するが、フェイクビデオのすべての顔が操作されるわけではない部分的な顔攻撃という新しい問題を導入する。 インスタンス埋め込みからバッグ予測への直接マッピングを構築する鋭いMIL(S-MIL)を提案する。 FFPMSと広く使われているDFDCデータセットの実験により、S-MILは部分的に攻撃されたDeepFakeビデオ検出において他の手法よりも優れていることが確認された。
  論文  参考訳（メタデータ） (2020-08-11T08:52:17Z)
• Deep Frequent Spatial Temporal Learning for Face Anti-Spoofing [9.435020319411311]
  対面防止は, 提示攻撃による侵入を避けることにより, 顔認識システムのセキュリティに不可欠である。 従来の研究は、この課題に深度と時間的監督を用いることの有効性を示した。 本稿では, 頻繁, 空間的, 時間的情報を同時に活用する顔アンチスプーフィングのための新しい2つのストリームFreqSaptialTemporalNetを提案する。
  論文  参考訳（メタデータ） (2020-01-20T06:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。