論文の概要: Spatiotemporal Inconsistency Learning for DeepFake Video Detection

• arxiv url: http://arxiv.org/abs/2109.01860v2
• Date: Tue, 7 Sep 2021 09:05:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 10:44:44.253920
• Title: Spatiotemporal Inconsistency Learning for DeepFake Video Detection
• Title（参考訳）: ディープフェイク映像検出のための時空間不整合学習
• Authors: Zhihao Gu, Yang Chen, Taiping Yao, Shouhong Ding, Jilin Li, Feiyue Huang, Lizhuang Ma
• Abstract要約: 本稿では,水平方向と垂直方向の両方で隣接するフレーム間の時間差を利用して,TIMにおける新しい時間的モデリングパラダイムを提案する。 ISMは、SIMからの空間情報とTIMからの時間情報とを同時に利用し、より包括的な時空間表現を確立する。
• 参考スコア（独自算出の注目度）: 51.747219106855624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of facial manipulation techniques has aroused public concerns in recent years. Following the success of deep learning, existing methods always formulate DeepFake video detection as a binary classification problem and develop frame-based and video-based solutions. However, little attention has been paid to capturing the spatial-temporal inconsistency in forged videos. To address this issue, we term this task as a Spatial-Temporal Inconsistency Learning (STIL) process and instantiate it into a novel STIL block, which consists of a Spatial Inconsistency Module (SIM), a Temporal Inconsistency Module (TIM), and an Information Supplement Module (ISM). Specifically, we present a novel temporal modeling paradigm in TIM by exploiting the temporal difference over adjacent frames along with both horizontal and vertical directions. And the ISM simultaneously utilizes the spatial information from SIM and temporal information from TIM to establish a more comprehensive spatial-temporal representation. Moreover, our STIL block is flexible and could be plugged into existing 2D CNNs. Extensive experiments and visualizations are presented to demonstrate the effectiveness of our method against the state-of-the-art competitors.
• Abstract（参考訳）: 近年,顔面手術技術の急速な発展が公衆の関心を喚起している。 ディープラーニングの成功に続いて、既存の手法は常にDeepFakeビデオ検出をバイナリ分類問題として定式化し、フレームベースおよびビデオベースソリューションを開発する。 しかし、偽造ビデオの空間的時間的不整合を捉えることにはほとんど注意が払われていない。 本稿では,この課題を空間的不整合学習(STIL)プロセスと呼び,空間的不整合モジュール(SIM),時間的不整合モジュール(TIM),情報補完モジュール(ISM)からなる新しいSTILブロックにインスタンス化する。 具体的には,隣接するフレームと水平方向,垂直方向の時間差を利用して,TIMにおける新しい時間的モデリングパラダイムを提案する。 ISMは、SIMからの空間情報とTIMからの時間情報を同時に利用し、より包括的な時空間表現を確立する。 さらに、STILブロックは柔軟で、既存の2D CNNにプラグインすることができます。 本手法の有効性を実証するために,広範な実験と可視化を行った。

関連論文リスト

• Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
  カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。 提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
  論文  参考訳（メタデータ） (2024-07-02T09:11:17Z)
• ASF-Net: Robust Video Deraining via Temporal Alignment and Online Adaptive Learning [47.10392889695035]
  本稿では,時間シフトモジュールを組み込んだ新しい計算パラダイムであるアライメント・シフト・フュージョン・ネットワーク(ASF-Net)を提案する。 LArgeスケールのRAINYビデオデータセット(LARA)を構築し,このコミュニティの開発を支援する。 提案手法は,3つのベンチマークにおいて優れた性能を示し,実世界のシナリオにおいて魅力的な視覚的品質を示す。
  論文  参考訳（メタデータ） (2023-09-02T14:50:13Z)
• Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification [91.56939957189505]
  本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。 私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-04-27T12:16:44Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• TCGL: Temporal Contrastive Graph for Self-supervised Video Representation Learning [79.77010271213695]
  本稿では,TCGL(Temporal Contrastive Graph Learning)という,ビデオの自己教師型学習フレームワークを提案する。 TCGLは、フレームとスニペットの順序に関する以前の知識をグラフ構造、すなわち、インター/インタースニペットの時間トラストグラフ(TCG)に統合します。 ラベルなしビデオの監視信号を生成するために,適応スニペット順序予測(ASOP)モジュールを導入する。
  論文  参考訳（メタデータ） (2021-12-07T09:27:56Z)
• Deep Video Matting via Spatio-Temporal Alignment and Aggregation [63.6870051909004]
  新たな集計機能モジュール(STFAM)を用いた深層学習型ビデオマッチングフレームワークを提案する。 フレーム毎のトリマップアノテーションを排除するため、軽量なインタラクティブなトリマップ伝搬ネットワークも導入されている。 私達のフレームワークは従来のビデオ マットおよび深いイメージのマットの方法よりかなり優秀です。
  論文  参考訳（メタデータ） (2021-04-22T17:42:08Z)
• Learning Self-Similarity in Space and Time as Generalized Motion for Action Recognition [42.175450800733785]
  ビデオ自己相似性(STSS)に基づくリッチな動き表現を提案する。 stssのボリューム全体を活用し、モデルに効果的なモーション表現を抽出させるようにしています。 SELFYと呼ばれる提案された神経ブロックは、追加の監督なしに簡単に神経アーキテクチャに挿入し、エンドツーエンドで訓練することができます。
  論文  参考訳（メタデータ） (2021-02-14T07:32:55Z)
• Fast Video Salient Object Detection via Spatiotemporal Knowledge Distillation [20.196945571479002]
  本稿では,映像の有能な物体検出に適した軽量ネットワークを提案する。 具体的には,空間的特徴を洗練させるために,サリエンシガイダンスの埋め込み構造と空間知識蒸留を組み合わせた。 時間的側面において,ネットワークが頑健な時間的特徴を学習することのできる時間的知識蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-20T04:48:36Z)
• CTM: Collaborative Temporal Modeling for Action Recognition [11.467061749436356]
  動作認識のための時間情報を学習するための協調時間モデリング(CTM)ブロックを提案する。 CTMには、空間認識時空間モデリングパスと空間認識時空間モデリングパスの2つの協調パスが含まれている。 いくつかの一般的なアクション認識データセットの実験では、CTMブロックが2D CNNベースラインのパフォーマンス改善をもたらすことが示されている。
  論文  参考訳（メタデータ） (2020-02-08T12:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。