論文の概要: Undercover Deepfakes: Detecting Fake Segments in Videos

• arxiv url: http://arxiv.org/abs/2305.06564v4
• Date: Fri, 25 Aug 2023 03:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 17:22:13.580338
• Title: Undercover Deepfakes: Detecting Fake Segments in Videos
• Title（参考訳）: undercover deepfakes: ビデオ中の偽のセグメントを検出する
• Authors: Sanjay Saha, Rashindrie Perera, Sachith Seneviratne, Tamasha Malepathirana, Sanka Rasnayaka, Deshani Geethika, Terence Sim, Saman Halgamuge
• Abstract要約: ディープフェイク・ジェネレーションは ディープフェイクの新しいパラダイムだ ほとんどは 真実を歪めるために わずかに修正された 実際のビデオだ 本稿では,フレームとビデオレベルでディープフェイク予測を行うことにより,この問題に対処できるディープフェイク検出手法を提案する。 特に、私たちが取り組むパラダイムは、ディープフェイクのモデレーションのための強力なツールを形成します。
• 参考スコア（独自算出の注目度）: 1.2609216345578933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent renaissance in generative models, driven primarily by the advent of diffusion models and iterative improvement in GAN methods, has enabled many creative applications. However, each advancement is also accompanied by a rise in the potential for misuse. In the arena of the deepfake generation, this is a key societal issue. In particular, the ability to modify segments of videos using such generative techniques creates a new paradigm of deepfakes which are mostly real videos altered slightly to distort the truth. This paradigm has been under-explored by the current deepfake detection methods in the academic literature. In this paper, we present a deepfake detection method that can address this issue by performing deepfake prediction at the frame and video levels. To facilitate testing our method, we prepared a new benchmark dataset where videos have both real and fake frame sequences with very subtle transitions. We provide a benchmark on the proposed dataset with our detection method which utilizes the Vision Transformer based on Scaling and Shifting to learn spatial features, and a Timeseries Transformer to learn temporal features of the videos to help facilitate the interpretation of possible deepfakes. Extensive experiments on a variety of deepfake generation methods show excellent results by the proposed method on temporal segmentation and classical video-level predictions as well. In particular, the paradigm we address will form a powerful tool for the moderation of deepfakes, where human oversight can be better targeted to the parts of videos suspected of being deepfakes. All experiments can be reproduced at: github.com/rgb91/temporal-deepfake-segmentation.
• Abstract（参考訳）: 近年のジェネレーティブモデルのルネッサンスは、主に拡散モデルの出現とGAN法の反復的な改善により、多くのクリエイティブな応用を可能にしている。 しかし、それぞれの進歩には誤用の可能性の高まりも伴っている。 ディープフェイク世代においては、これは重要な社会問題である。 特に、このような生成技術を使ってビデオのセグメントを修正できることは、ディープフェイクの新たなパラダイムを生み出します。 このパラダイムは、現在の学術文献におけるディープフェイク検出手法によって過小評価されている。 本稿では,フレームおよび映像レベルでのディープフェイク予測を行うことにより,この問題に対処できるディープフェイク検出手法を提案する。 提案手法の検証を容易にするため,ビデオが実フレームシーケンスと偽フレームシーケンスの両方を持ち,微妙な遷移を伴うベンチマークデータセットを構築した。 本研究では,視覚トランスフォーマを使用して空間的特徴を学習し,時系列トランスフォーマを用いて映像の時間的特徴を学習し,可能なディープフェイクの解釈を容易にする手法を提案する。 様々なディープフェイク生成手法に関する広範囲な実験は、時間分割法や古典的なビデオレベルの予測においても優れた結果を示す。 特に、私たちが取り組んでいるパラダイムは、ディープフェイクのモデレーションのための強力なツールを形成します。 実験はすべてgithub.com/rgb91/temporal-deepfake-segmentationで再現できる。

関連論文リスト

• Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
  被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。 本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。 我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
  論文  参考訳（メタデータ） (2024-10-10T13:10:34Z)
• FakeOut: Leveraging Out-of-domain Self-supervision for Multi-modal Video Deepfake Detection [10.36919027402249]
  人間の話し言葉の合成ビデオは、説得力のある方法で誤情報を拡散するのに使用することができる。 FakeOutは、事前トレーニングフェーズと適応フェーズの両方でマルチモーダルデータに依存する、新しいアプローチである。 提案手法は,オーディオ・ビジュアル・データセット上でのクロスデータセットの一般化を実現する。
  論文  参考訳（メタデータ） (2022-12-01T18:56:31Z)
• DeePhy: On Deepfake Phylogeny [58.01631614114075]
  DeePhyは、新しいDeepfake Phylogenyデータセットである。 6つのディープフェイク検出アルゴリズムを用いて,DeePhyデータセットのベンチマークを示す。
  論文  参考訳（メタデータ） (2022-09-19T15:30:33Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption [94.5031244215761]
  本稿では,実際のビデオにない「規則性破壊」を識別することで,ディープフェイク検出の一般化を促進することを提案する。 具体的には、空間的・時間的特性を慎重に調べることで、擬似フェイク発生器による実映像の破壊を提案する。 このような手法により,フェイクビデオを使わずにディープフェイク検出が可能となり,よりシンプルかつ効率的に一般化能力を向上させることができる。
  論文  参考訳（メタデータ） (2022-07-21T10:42:34Z)
• Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
  本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。 我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。 本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-06T20:51:40Z)
• Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
  既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-03-04T09:08:50Z)
• Detecting Deepfake Videos Using Euler Video Magnification [1.8506048493564673]
  Deepfakeのビデオは、高度な機械学習技術を使ってビデオを操作している。 本稿では,ディープフェイク映像の識別技術について検討する。 提案手法では,Euler手法から抽出した特徴を用いて,偽造映像と未修正映像を分類する3つのモデルを訓練する。
  論文  参考訳（メタデータ） (2021-01-27T17:37:23Z)
• A Convolutional LSTM based Residual Network for Deepfake Video Detection [23.275080108063406]
  我々は、深層ビデオを検出するための畳み込みLSTMベースのResidual Network(CLRNet)を開発した。 また,異なるディープフェイク手法を一般化するための伝達学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-16T05:57:06Z)
• Deepfake Detection using Spatiotemporal Convolutional Networks [0.0]
  ディープフェイク検出法は個々のフレームのみを使用し、時間情報から学習することができない。 我々はCeleb-DFデータセットを用いて性能のベンチマークを作成した。 提案手法は,最先端のフレームベース検出法より優れていた。
  論文  参考訳（メタデータ） (2020-06-26T01:32:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。