論文の概要: Spatio-temporal Features for Generalized Detection of Deepfake Videos

• arxiv url: http://arxiv.org/abs/2010.11844v1
• Date: Thu, 22 Oct 2020 16:28:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 07:08:55.409393
• Title: Spatio-temporal Features for Generalized Detection of Deepfake Videos
• Title（参考訳）: ディープフェイク映像の一般検出のための時空間特性
• Authors: Ipek Ganiyusufoglu, L. Minh Ng\^o, Nedko Savov, Sezer Karaoglu, Theo Gevers
• Abstract要約: 我々は3D CNNによってモデル化された時間的特徴を提案し、新しい種類のディープビデオを検出する能力を拡張した。 提案手法は,一般化能力において既存手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 12.453288832098314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For deepfake detection, video-level detectors have not been explored as extensively as image-level detectors, which do not exploit temporal data. In this paper, we empirically show that existing approaches on image and sequence classifiers generalize poorly to new manipulation techniques. To this end, we propose spatio-temporal features, modeled by 3D CNNs, to extend the generalization capabilities to detect new sorts of deepfake videos. We show that spatial features learn distinct deepfake-method-specific attributes, while spatio-temporal features capture shared attributes between deepfake methods. We provide an in-depth analysis of how the sequential and spatio-temporal video encoders are utilizing temporal information using DFDC dataset arXiv:2006.07397. Thus, we unravel that our approach captures local spatio-temporal relations and inconsistencies in the deepfake videos while existing sequence encoders are indifferent to it. Through large scale experiments conducted on the FaceForensics++ arXiv:1901.08971 and Deeper Forensics arXiv:2001.03024 datasets, we show that our approach outperforms existing methods in terms of generalization capabilities.
• Abstract（参考訳）: ディープフェイク検出では、時間的データを使用しない画像レベルの検出器ほど、ビデオレベルの検出器は広く研究されていない。 本稿では,既存の画像分類器とシーケンス分類器のアプローチが,新しい操作手法に乏しいことを実証的に示す。 この目的のために,3d cnn をモデルとした時空間的特徴を,新しい種類のディープフェイク映像を検出するための一般化機能拡張のために提案する。 空間的特徴はディープフェイク特有の属性を学習し,時空間的特徴はディープフェイクメソッド間の共有属性をキャプチャする。 dfdcデータセットarxiv:2006.07397を用いた時系列および時空間ビデオエンコーダの時間情報活用に関する詳細な分析を行う。 したがって,既存のシーケンスエンコーダがそれに無関心であるのに対して,本手法はディープフェイクビデオにおける局所的時空間関係と矛盾を捉える。 FaceForensics++ arXiv:1901.08971とDeeper Forensics arXiv:2001.03024データセットで実施された大規模な実験を通して、我々の手法は一般化能力において既存の手法よりも優れていることを示す。

関連論文リスト

• DIP: Diffusion Learning of Inconsistency Pattern for General DeepFake Detection [18.116004258266535]
  ディフュージョン不整合学習(DIP)のためのトランスフォーマーベースフレームワークを提案する。 提案手法は,偽の手がかりを効果的に同定し,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-31T06:26:00Z)
• Weakly Supervised Video Anomaly Detection and Localization with Spatio-Temporal Prompts [57.01985221057047]
  本稿では、事前学習された視覚言語モデル(VLM)に基づく、弱教師付きビデオ異常検出および局所化のための時間的プロンプト埋め込み(WSVADL)を学習する新しい手法を提案する。 提案手法は,WSVADLタスクの3つの公開ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-12T03:31:29Z)
• Exploring Spatial-Temporal Features for Deepfake Detection and Localization [0.0]
  本稿では,空間的特徴と時間的特徴を同時に探索するDeepfakeネットワークを提案する。 具体的には、顔のマイクロ圧縮の正確な幾何学的動きをモデル化することにより、時間的(動き)の特徴を抽出する新しいアンカー・メシュ・モーション(AMM)アルゴリズムを設計する。 我々のST-DDLネットワークの優位性は、いくつかの最先端の競合相手との実験的比較によって検証される。
  論文  参考訳（メタデータ） (2022-10-28T03:38:49Z)
• Multimodal Graph Learning for Deepfake Detection [10.077496841634135]
  既存のディープフェイク検出器は、堅牢性と一般化を達成する上でいくつかの課題に直面している。 本稿では,マルチモーダルグラフ学習(MGL)という新しいフレームワークを提案する。 提案手法は,ディープフェイク検出のための特徴を効果的に識別し,活用することを目的としている。
  論文  参考訳（メタデータ） (2022-09-12T17:17:49Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption [94.5031244215761]
  本稿では,実際のビデオにない「規則性破壊」を識別することで,ディープフェイク検出の一般化を促進することを提案する。 具体的には、空間的・時間的特性を慎重に調べることで、擬似フェイク発生器による実映像の破壊を提案する。 このような手法により,フェイクビデオを使わずにディープフェイク検出が可能となり,よりシンプルかつ効率的に一般化能力を向上させることができる。
  論文  参考訳（メタデータ） (2022-07-21T10:42:34Z)
• Delving into Sequential Patches for Deepfake Detection [64.19468088546743]
  近年の顔偽造技術は、ほとんど追跡不可能なディープフェイクビデオを生み出しており、悪意のある意図で活用することができる。 従来の研究では、ディープフェイク法にまたがる一般化を追求する上で、局所的な低レベルな手がかりと時間的情報の重要性が指摘されてきた。 本稿では,局所的・時間的変換をベースとしたDeepfake Detectionフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:46:30Z)
• Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
  既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-03-04T09:08:50Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Deepfake Detection using Spatiotemporal Convolutional Networks [0.0]
  ディープフェイク検出法は個々のフレームのみを使用し、時間情報から学習することができない。 我々はCeleb-DFデータセットを用いて性能のベンチマークを作成した。 提案手法は,最先端のフレームベース検出法より優れていた。
  論文  参考訳（メタデータ） (2020-06-26T01:32:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。