論文の概要: A Hybrid CNN-LSTM model for Video Deepfake Detection by Leveraging Optical Flow Features

• arxiv url: http://arxiv.org/abs/2208.00788v1
• Date: Thu, 28 Jul 2022 09:38:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:01:11.325131
• Title: A Hybrid CNN-LSTM model for Video Deepfake Detection by Leveraging Optical Flow Features
• Title（参考訳）: 光フロー特徴を利用したビデオディープフェイク検出のためのハイブリッドCNN-LSTMモデル
• Authors: Pallabi Saikia, Dhwani Dholaria, Priyanka Yadav, Vaidehi Patel, Mohendra Roy
• Abstract要約: ディープフェイク(Deepfakes)は、デジタルメディアの合成で、超リアルなフェイクビデオを作り、観客を騙す。 本稿では,光学フローに基づく特徴抽出手法を用いて時間的特徴を抽出し,分類のためのハイブリッドモデルに供給する。 このハイブリッドモデルは、DFDC、FF++、Celeb-DFといったオープンソースのデータセットに効果的なパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deepfakes are the synthesized digital media in order to create ultra-realistic fake videos to trick the spectator. Deep generative algorithms, such as, Generative Adversarial Networks(GAN) are widely used to accomplish such tasks. This approach synthesizes pseudo-realistic contents that are very difficult to distinguish by traditional detection methods. In most cases, Convolutional Neural Network(CNN) based discriminators are being used for detecting such synthesized media. However, it emphasise primarily on the spatial attributes of individual video frames, thereby fail to learn the temporal information from their inter-frame relations. In this paper, we leveraged an optical flow based feature extraction approach to extract the temporal features, which are then fed to a hybrid model for classification. This hybrid model is based on the combination of CNN and recurrent neural network (RNN) architectures. The hybrid model provides effective performance on open source data-sets such as, DFDC, FF++ and Celeb-DF. This proposed method shows an accuracy of 66.26%, 91.21% and 79.49% in DFDC, FF++, and Celeb-DF respectively with a very reduced No of sample size of approx 100 samples(frames). This promises early detection of fake contents compared to existing modalities.
• Abstract（参考訳）: ディープフェイク(Deepfakes)は、デジタルメディアの合成で、超リアルなフェイクビデオを作り、観客を騙す。 GAN(Generative Adversarial Networks)のような深層生成アルゴリズムは、そのようなタスクを達成するために広く使われている。 このアプローチは、従来の検出手法では区別が難しい疑似現実的コンテンツを合成する。 ほとんどの場合、畳み込みニューラルネットワーク(CNN)に基づく識別器が、このような合成メディアの検出に使われている。 しかし、主に個々のビデオフレームの空間的属性に重点を置いており、フレーム間の関係から時間的情報を学ばない。 本稿では,光フローに基づく特徴抽出手法を用いて時間的特徴を抽出し,その特徴を分類のためのハイブリッドモデルに与えた。 このハイブリッドモデルは、CNNとリカレントニューラルネットワーク(RNN)アーキテクチャの組み合わせに基づいている。 このハイブリッドモデルは、DFDC、FF++、Celeb-DFといったオープンソースのデータセットに効果的なパフォーマンスを提供する。 提案手法は,DFDC,FF++,Celeb-DFにおいて66.26%,91.21%,79.49%の精度を示し,試料100点あたりの試料サイズ(フレーム)は極めて小さくなった。 これにより、既存のモダリティと比較して偽コンテンツが早期に検出される。

関連論文リスト

• Real-Time Anomaly Detection in Video Streams [0.0]
  この論文は、Othello社とIASD研究所との間のCIFRE協定の一部である。 目的は、ビデオストリーム内のリアルタイムな危険を検出する人工知能システムを開発することである。
  論文  参考訳（メタデータ） (2024-11-29T14:24:33Z)
• Neural Network Diffusion [45.851945143942885]
  拡散モデルはランダムノイズから潜在表現を合成するために訓練される。 このモデルは次に新しい表現を生成し、オートエンコーダのデコーダを通過してハイパフォーマンスなネットワークパラメータの新しいサブセットを生成する。
  論文  参考訳（メタデータ） (2024-02-20T16:59:03Z)
• CapST: An Enhanced and Lightweight Model Attribution Approach for Synthetic Videos [9.209808258321559]
  本稿では、最近提案されたデータセット、DFDM(Deepfakes from Different Models)からのDeepfakeビデオのモデル属性問題について検討する。 データセットは、エンコーダ、デコーダ、中間層、入力解像度、圧縮比の5つの異なるモデルによって生成された6,450のDeepfakeビデオからなる。 ディープフェイク・ベンチマーク・データセット(DFDM)による実験結果から提案手法の有効性が示され、ディープフェイク・ビデオの正確な分類において最大4%の改善が達成された。
  論文  参考訳（メタデータ） (2023-11-07T08:05:09Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Progressive Fourier Neural Representation for Sequential Video Compilation [75.43041679717376]
  連続学習によって動機づけられたこの研究は、シーケンシャルエンコーディングセッションを通じて、複数の複雑なビデオデータに対して、ニューラル暗黙表現を蓄積し、転送する方法を研究する。 本稿では,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という手法を提案する。 我々は,UVG8/17とDAVIS50のビデオシーケンスベンチマークでPFNR法を検証し,強力な連続学習ベースラインよりも優れた性能向上を実現した。
  論文  参考訳（メタデータ） (2023-06-20T06:02:19Z)
• Deepfake Detection Scheme Based on Vision Transformer and Distillation [4.716110829725784]
  偽ビデオ検出のための蒸留法を用いたVision Transformerモデルを提案する。 提案手法は,CNN機能の組み合わせにより,入力としてのパッチ埋め込みが最先端であることを確認した。
  論文  参考訳（メタデータ） (2021-04-03T09:13:05Z)
• Adversarially robust deepfake media detection using fused convolutional neural network predictions [79.00202519223662]
  現在のディープフェイク検出システムは、目に見えないデータと戦っている。 ビデオから抽出した偽画像と実画像の分類には,CNN(Deep Convolutional Neural Network)モデルが3種類採用されている。 提案手法は96.5%の精度で最先端のモデルより優れている。
  論文  参考訳（メタデータ） (2021-02-11T11:28:00Z)
• Perceptron Synthesis Network: Rethinking the Action Scale Variances in Videos [48.57686258913474]
  ビデオアクション認識は、固定サイズの3Dカーネルを積み重ねたCNNによって部分的に解決されている。 データから最適なスケールのカーネルを学習することを提案する。 固定サイズのカーネルの袋からカーネルを生成するために,テキスト分割パーセプトロンシンセサイザーを提案する。
  論文  参考訳（メタデータ） (2020-07-22T14:22:29Z)
• Deepfakes Detection with Automatic Face Weighting [21.723416806728668]
  コンボリューションニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)に基づいて,映像中の顔から視覚的特徴と時間的特徴を抽出し,操作を正確に検出する手法を提案する。 この手法はDeepfake Detection Challengeデータセットを用いて評価され、他の手法と比較して競合的な結果が得られる。
  論文  参考訳（メタデータ） (2020-04-25T00:47:42Z)
• Cascaded Deep Video Deblurring Using Temporal Sharpness Prior [88.98348546566675]
  提案アルゴリズムは主に,中間潜水フレームと潜水フレームの復元ステップから光フローを推定する。 まず、中間潜伏フレームから光フローを推定し、推定した光フローに基づいて潜伏フレームを復元する深部CNNモデルを開発する。 ビデオデブロアリングのドメイン知識を探索することで、深層CNNモデルをよりコンパクトで効率的なものにすることができることを示す。
  論文  参考訳（メタデータ） (2020-04-06T09:13:49Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。