論文の概要: Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption
- arxiv url: http://arxiv.org/abs/2207.10402v1
- Date: Thu, 21 Jul 2022 10:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 13:06:35.219355
- Title: Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption
- Title(参考訳): 時空間規則性崩壊によるディープフェイクの検出
- Authors: Jiazhi Guan, Hang Zhou, Mingming Gong, Youjian Zhao, Errui Ding, and
Jingdong Wang
- Abstract要約: 本稿では,実際のビデオにない「規則性破壊」を識別することで,ディープフェイク検出の一般化を促進することを提案する。
具体的には、空間的・時間的特性を慎重に調べることで、擬似フェイク発生器による実映像の破壊を提案する。
このような手法により,フェイクビデオを使わずにディープフェイク検出が可能となり,よりシンプルかつ効率的に一般化能力を向上させることができる。
- 参考スコア(独自算出の注目度): 89.18621496594244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite encouraging progress in deepfake detection, generalization to unseen
forgery types remains a significant challenge due to the limited forgery clues
explored during training. In contrast, we notice a common phenomenon in
deepfake: fake video creation inevitably disrupts the statistical regularity in
original videos. Inspired by this observation, we propose to boost the
generalization of deepfake detection by distinguishing the "regularity
disruption" that does not appear in real videos. Specifically, by carefully
examining the spatial and temporal properties, we propose to disrupt a real
video through a Pseudo-fake Generator and create a wide range of pseudo-fake
videos for training. Such practice allows us to achieve deepfake detection
without using fake videos and improves the generalization ability in a simple
and efficient manner. To jointly capture the spatial and temporal disruptions,
we propose a Spatio-Temporal Enhancement block to learn the regularity
disruption across space and time on our self-created videos. Through
comprehensive experiments, our method exhibits excellent performance on several
datasets.
- Abstract(参考訳): ディープフェイク検出の進歩を奨励しているにもかかわらず、トレーニング中に探究された限られた偽の手がかりのため、見当たらない偽の型への一般化は重要な課題である。
対照的に、私たちはディープフェイクに共通する現象に気付き、フェイクビデオ作成は必然的にオリジナルビデオの統計的規則性を損なう。
そこで本研究では,実際の映像にない「規則性破壊」を識別することで,ディープフェイク検出の一般化を促進することを提案する。
具体的には、空間的・時間的特性を慎重に調べることで、擬似フェイク生成器を通じて実映像を破壊し、訓練用に幅広い擬似フェイク映像を作成することを提案する。
このようなプラクティスによって,偽ビデオを使用せずにディープフェイク検出を実現し,汎用性をシンプルかつ効率的な方法で改善することができる。
空間的および時間的混乱を協調的に捉えるために,我々は時間的空間的混乱を学習するための時空間的拡張ブロックを提案する。
包括的実験により,複数のデータセットにおいて優れた性能を示す。
関連論文リスト
- Unsupervised Multimodal Deepfake Detection Using Intra- and Cross-Modal
Inconsistencies [16.015769274959098]
ディープフェイクビデオは、刑事司法、民主主義、個人の安全とプライバシーに悪影響を及ぼす可能性のある社会への脅威が増えていることを示している。
本稿では,内部および相互の整合性を測定することによって,ディープフェイク映像を非教師的に検出する手法を提案する。
提案手法は広範囲な実験により検証され,ディープフェイクビデオにおける重要な内的および横断的不整合の存在が実証された。
論文 参考訳(メタデータ) (2023-11-28T03:28:19Z) - Unearthing Common Inconsistency for Generalisable Deepfake Detection [8.327980745153216]
ビデオレベル1は、複数のドメインにまたがる一般化と圧縮に対する堅牢性の両方を持つ可能性を示している。
本稿では,異なる偽造技術に広く存在するフレーム不整合を捉えることによって検出手法を提案する。
本研究では,時間的に保存されたモジュール法を導入し,空間雑音の摂動を導入し,時間的情報に対するモデルの注意を向ける。
論文 参考訳(メタデータ) (2023-11-20T06:04:09Z) - Undercover Deepfakes: Detecting Fake Segments in Videos [1.2609216345578933]
ディープフェイク・ジェネレーションは ディープフェイクの新しいパラダイムだ ほとんどは 真実を歪めるために わずかに修正された 実際のビデオだ
本稿では,フレームとビデオレベルでディープフェイク予測を行うことにより,この問題に対処できるディープフェイク検出手法を提案する。
特に、私たちが取り組むパラダイムは、ディープフェイクのモデレーションのための強力なツールを形成します。
論文 参考訳(メタデータ) (2023-05-11T04:43:10Z) - Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。
具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。
提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2022-09-12T15:05:41Z) - Deepfake Video Detection with Spatiotemporal Dropout Transformer [32.577096083927884]
本稿では,ドロップアウトトランスによるディープフェイク映像の検出を容易にするための,単純かつ効果的なパッチレベルアプローチを提案する。
このアプローチでは、各入力ビデオがパッチの袋に再編成され、その後視覚変換器に送られ、堅牢な表現を実現する。
論文 参考訳(メタデータ) (2022-07-14T02:04:42Z) - Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。
我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。
本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
論文 参考訳(メタデータ) (2022-04-06T20:51:40Z) - Leveraging Real Talking Faces via Self-Supervision for Robust Forgery
Detection [112.96004727646115]
本研究では,実話を用いた顔操作映像の検出手法を開発した。
本手法は, クロスマニピュレーションの一般化とロバストネス実験における最先端性能を実現する。
以上の結果から、より堅牢な顔偽造検知器の開発には、自然ビデオと未表示ビデオの活用が有望な方向であることが示唆された。
論文 参考訳(メタデータ) (2022-01-18T17:14:54Z) - Watch Those Words: Video Falsification Detection Using Word-Conditioned
Facial Motion [82.06128362686445]
本稿では,安価なディープフェイクと視覚的に説得力のあるディープフェイクの両方を扱うためのマルチモーダルな意味法医学的アプローチを提案する。
帰属という概念を利用して、ある話者と他の話者を区別する個人固有の生体パターンを学習する。
既存の個人固有のアプローチとは異なり、この手法は口唇の操作に焦点を当てた攻撃にも有効である。
論文 参考訳(メタデータ) (2021-12-21T01:57:04Z) - Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery
Detection [118.37239586697139]
LipForensicsは、操作の一般化と様々な歪みに耐えられる検出アプローチである。
視覚的音声認識(リリーディング)を行うために、初めて時間ネットワークを事前訓練する。
その後、リアルタイムおよび偽造データの固定された口埋め込みに時間的ネットワークを微調整し、低レベルな操作固有のアーティファクトに過度に適合することなく、口の動きに基づいて偽のビデオを検出する。
論文 参考訳(メタデータ) (2020-12-14T15:53:56Z) - Spatio-temporal Features for Generalized Detection of Deepfake Videos [12.453288832098314]
我々は3D CNNによってモデル化された時間的特徴を提案し、新しい種類のディープビデオを検出する能力を拡張した。
提案手法は,一般化能力において既存手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-10-22T16:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。