論文の概要: TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning

• arxiv url: http://arxiv.org/abs/2105.06117v1
• Date: Thu, 13 May 2021 07:31:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 13:59:03.888846
• Title: TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning
• Title（参考訳）: TAR:弱監視学習を用いたディープフェイク検出のための一般化された法医学的枠組み
• Authors: Sangyup Lee, Shahroz Tariq, Junyaup Kim, and Simon S. Woo
• Abstract要約: ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。 本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。 レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
• 参考スコア（独自算出の注目度）: 17.40885531847159
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deepfakes have become a critical social problem, and detecting them is of utmost importance. Also, deepfake generation methods are advancing, and it is becoming harder to detect. While many deepfake detection models can detect different types of deepfakes separately, they perform poorly on generalizing the detection performance over multiple types of deepfake. This motivates us to develop a generalized model to detect different types of deepfakes. Therefore, in this work, we introduce a practical digital forensic tool to detect different types of deepfakes simultaneously and propose Transfer learning-based Autoencoder with Residuals (TAR). The ultimate goal of our work is to develop a unified model to detect various types of deepfake videos with high accuracy, with only a small number of training samples that can work well in real-world settings. We develop an autoencoder-based detection model with Residual blocks and sequentially perform transfer learning to detect different types of deepfakes simultaneously. Our approach achieves a much higher generalized detection performance than the state-of-the-art methods on the FaceForensics++ dataset. In addition, we evaluate our model on 200 real-world Deepfake-in-the-Wild (DW) videos of 50 celebrities available on the Internet and achieve 89.49% zero-shot accuracy, which is significantly higher than the best baseline model (gaining 10.77%), demonstrating and validating the practicability of our approach.
• Abstract（参考訳）: ディープフェイクは重要な社会問題となり、それらを検出することが最も重要である。 また, ディープフェイク生成法が進歩し, 検出が困難になっている。 多くのディープフェイク検出モデルは異なるタイプのディープフェイクを別々に検出できるが、複数のタイプのディープフェイクに対する検出性能の一般化には不十分である。 これは、様々な種類のディープフェイクを検出する一般化されたモデルを開発する動機となる。 そこで本研究では,異なるタイプのディープフェイクを同時に検出する実用的なデジタル法医学ツールを導入し,Residualsを用いたTransfer Learning-based Autoencoderを提案する。 私たちの研究の最終的な目標は、現実世界の環境でうまく機能する少数のトレーニングサンプルだけで、様々な種類のディープフェイクビデオを高精度に検出する統一モデルを開発することです。 本研究では,残差ブロックを用いたオートエンコーダに基づく検出モデルを開発し,異なるタイプのディープフェイクを同時に検出するトランスファー学習を行う。 提案手法はFaceForensics++データセットの最先端手法よりもはるかに高い汎用検出性能を実現する。 さらに、インターネット上で利用可能な50人の有名人による200の現実世界のDeepfake-in-the-Wild(DW)ビデオ上でモデルを評価し、89.49%のゼロショット精度を実現した。

関連論文リスト

• DF40: Toward Next-Generation Deepfake Detection [62.073997142001424]
  既存の研究は、ある特定のデータセットで検出器をトレーニングし、他の一般的なディープフェイクデータセットでテストすることで、トップノーチ検出アルゴリズムとモデルを識別する。 しかし、これらの「勝者」は現実の世界に潜む無数の現実的で多様なディープフェイクに取り組むために真に応用できるのだろうか? 我々は,40の異なるディープフェイク技術からなるDF40という,高度に多様なディープフェイク検出データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-19T12:35:02Z)
• AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors [24.78672820633581]
  深層生成モデルは、偽情報や著作権侵害に対する懸念を高めながら、驚くほど偽のイメージを作成することができる。 実画像と偽画像とを区別するためにディープフェイク検出技術が開発された。 本稿では,視覚言語モデルとアクシデントチューニング技術を用いて,Antifake Promptと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-26T14:23:45Z)
• CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
  クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。 既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。 顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
  論文  参考訳（メタデータ） (2023-09-30T12:30:25Z)
• How Generalizable are Deepfake Image Detectors? An Empirical Study [4.42204674141385]
  本研究は,ディープフェイク検出器の一般化性に関する最初の実証的研究である。 本研究では,6つのディープフェイクデータセット,5つのディープフェイク画像検出手法,および2つのモデル拡張アプローチを用いた。 検出器は, 合成法に特有の不要な特性を学習し, 識別的特徴の抽出に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T10:30:34Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• A Continual Deepfake Detection Benchmark: Dataset, Methods, and Essentials [97.69553832500547]
  本稿では, 既知の生成モデルと未知の生成モデルの両方から, 新たなディープフェイク集合に対する連続的なディープフェイク検出ベンチマーク(CDDB)を提案する。 本研究では,連続的なディープラーニング検出問題に対して,連続的な視覚認識で一般的に使用される多クラス漸進学習手法を適応するために,複数のアプローチを利用する。
  論文  参考訳（メタデータ） (2022-05-11T13:07:19Z)
• Metamorphic Testing-based Adversarial Attack to Fool Deepfake Detectors [2.0649235321315285]
  ディープフェイク検出技術はディープフェイクメディアを見つけるのに役立つ。 現在のディープフェイク検出モデルは、卓越した精度(>90%)を達成することができる 本研究は、メイクアップを、ディープフェイク検出器を騙す可能性のある敵攻撃として特定する。
  論文  参考訳（メタデータ） (2022-04-19T02:24:30Z)
• Self-supervised Transformer for Deepfake Detection [112.81127845409002]
  現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。 転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。 本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-02T17:44:40Z)
• Model Attribution of Face-swap Deepfake Videos [39.771800841412414]
  まず、いくつかのAutoencoderモデルに基づいて、DeepFakes from Different Models (DFDM)を用いた新しいデータセットを導入する。 具体的には、エンコーダ、デコーダ、中間層、入力解像度、圧縮比の5つの世代モデルを用いて、合計6450のDeepfakeビデオを生成する。 我々は,Deepfakesモデルの属性を多クラス分類タスクとして捉え,Deepfakes間の差異を探索するための空間的・時間的注意に基づく手法を提案する。
  論文  参考訳（メタデータ） (2022-02-25T20:05:18Z)
• One Detector to Rule Them All: Towards a General Deepfake Attack Detection Framework [19.762839181838388]
  本稿では,LSTMに基づくResidual Network(CLRNet)を導入し,未知の未確認ディープフェイクに対処する。 我々のCLRNetモデルは、93.86%の精度で高品質なDFWビデオに対してうまく一般化できることを実証した。
  論文  参考訳（メタデータ） (2021-05-01T08:02:59Z)
• M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
  Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。 本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。 最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
  論文  参考訳（メタデータ） (2021-04-20T05:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。