論文の概要: Undercover Deepfakes: Detecting Fake Segments in Videos

• arxiv url: http://arxiv.org/abs/2305.06564v2
• Date: Tue, 16 May 2023 15:16:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 17:48:57.117306
• Title: Undercover Deepfakes: Detecting Fake Segments in Videos
• Title（参考訳）: undercover deepfakes: ビデオ中の偽のセグメントを検出する
• Authors: Sanjay Saha, Rashindrie Perera, Sachith Seneviratne, Tamasha Malepathirana, Sanka Rasnayaka, Deshani Geethika, Terence Sim, Saman Halgamuge
• Abstract要約: ディープフェイク生成は重要な社会問題である。 このような生成技術を使ってビデオのセグメントを修正できることは、新しいディープフェイクのパラダイムを生み出します。 本稿では,フレームレベルのディープフェイク予測とビデオレベルのディープフェイク予測を併用することにより,この問題に対処できるディープフェイク検出手法を提案する。
• 参考スコア（独自算出の注目度）: 0.9941536944352355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent renaissance in generative models, driven primarily by the advent of diffusion models and iterative improvement in GAN methods, has enabled many creative applications. However, each advancement is also accompanied by a rise in the potential for misuse. In the arena of deepfake generation this is a key societal issue. In particular, the ability to modify segments of videos using such generative techniques creates a new paradigm of deepfakes which are mostly real videos altered slightly to distort the truth. Current deepfake detection methods in the academic literature are not evaluated on this paradigm. In this paper, we present a deepfake detection method able to address this issue by performing both frame and video level deepfake prediction. To facilitate testing our method we create a new benchmark dataset where videos have both real and fake frame sequences. Our method utilizes the Vision Transformer, Scaling and Shifting pretraining and Timeseries Transformer to temporally segment videos to help facilitate the interpretation of possible deepfakes. Extensive experiments on a variety of deepfake generation methods show excellent results on temporal segmentation and classical video level predictions as well. In particular, the paradigm we introduce will form a powerful tool for the moderation of deepfakes, where human oversight can be better targeted to the parts of videos suspected of being deepfakes. All experiments can be reproduced at: https://github.com/sanjaysaha1311/temporal-deepfake-segmentation.
• Abstract（参考訳）: 近年のジェネレーティブモデルのルネッサンスは、主に拡散モデルの出現とGAN法の反復的な改善により、多くのクリエイティブな応用を可能にしている。 しかし、それぞれの進歩には誤用の可能性の高まりも伴っている。 ディープフェイク生成の分野では、これは重要な社会問題である。 特に、このような生成技術を使ってビデオのセグメントを修正できることは、ディープフェイクの新たなパラダイムを生み出します。 現在の学術文献におけるディープフェイク検出手法は評価されていない。 本稿では,フレームレベルのディープフェイク予測を行うことにより,この問題に対処できるディープフェイク検出手法を提案する。 テストを容易にするために,ビデオが実フレームシーケンスと偽フレームシーケンスの両方を持つ新しいベンチマークデータセットを作成する。 提案手法では,Vision Transformer, Scaling and Shifting Pretraining と Timeseries Transformer を用いてビデオの時間分割を行い,ディープフェイクの解釈を容易にする。 様々なディープフェイク生成手法に関する大規模な実験は、時間的セグメンテーションや古典的なビデオレベルの予測にも優れた結果を示す。 特に、私たちが導入するパラダイムは、ディープフェイクのモデレーションのための強力なツールを形成します。 実験はすべて、https://github.com/sanjaysaha1311/temporal-deepfake-segmentationで再現できる。

関連論文リスト

• Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
  被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。 本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。 我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
  論文  参考訳（メタデータ） (2024-10-10T13:10:34Z)
• FakeOut: Leveraging Out-of-domain Self-supervision for Multi-modal Video Deepfake Detection [10.36919027402249]
  人間の話し言葉の合成ビデオは、説得力のある方法で誤情報を拡散するのに使用することができる。 FakeOutは、事前トレーニングフェーズと適応フェーズの両方でマルチモーダルデータに依存する、新しいアプローチである。 提案手法は,オーディオ・ビジュアル・データセット上でのクロスデータセットの一般化を実現する。
  論文  参考訳（メタデータ） (2022-12-01T18:56:31Z)
• DeePhy: On Deepfake Phylogeny [58.01631614114075]
  DeePhyは、新しいDeepfake Phylogenyデータセットである。 6つのディープフェイク検出アルゴリズムを用いて,DeePhyデータセットのベンチマークを示す。
  論文  参考訳（メタデータ） (2022-09-19T15:30:33Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption [94.5031244215761]
  本稿では,実際のビデオにない「規則性破壊」を識別することで,ディープフェイク検出の一般化を促進することを提案する。 具体的には、空間的・時間的特性を慎重に調べることで、擬似フェイク発生器による実映像の破壊を提案する。 このような手法により,フェイクビデオを使わずにディープフェイク検出が可能となり,よりシンプルかつ効率的に一般化能力を向上させることができる。
  論文  参考訳（メタデータ） (2022-07-21T10:42:34Z)
• Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
  本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。 我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。 本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-06T20:51:40Z)
• Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
  既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-03-04T09:08:50Z)
• Detecting Deepfake Videos Using Euler Video Magnification [1.8506048493564673]
  Deepfakeのビデオは、高度な機械学習技術を使ってビデオを操作している。 本稿では,ディープフェイク映像の識別技術について検討する。 提案手法では,Euler手法から抽出した特徴を用いて,偽造映像と未修正映像を分類する3つのモデルを訓練する。
  論文  参考訳（メタデータ） (2021-01-27T17:37:23Z)
• A Convolutional LSTM based Residual Network for Deepfake Video Detection [23.275080108063406]
  我々は、深層ビデオを検出するための畳み込みLSTMベースのResidual Network(CLRNet)を開発した。 また,異なるディープフェイク手法を一般化するための伝達学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-16T05:57:06Z)
• Deepfake Detection using Spatiotemporal Convolutional Networks [0.0]
  ディープフェイク検出法は個々のフレームのみを使用し、時間情報から学習することができない。 我々はCeleb-DFデータセットを用いて性能のベンチマークを作成した。 提案手法は,最先端のフレームベース検出法より優れていた。
  論文  参考訳（メタデータ） (2020-06-26T01:32:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。