論文の概要: A Lightweight and Interpretable Deepfakes Detection Framework

• arxiv url: http://arxiv.org/abs/2501.11927v1
• Date: Tue, 21 Jan 2025 07:03:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:05.869840
• Title: A Lightweight and Interpretable Deepfakes Detection Framework
• Title（参考訳）: 軽量かつ解釈可能なディープフェイクス検出フレームワーク
• Authors: Muhammad Umar Farooq, Ali Javed, Khalid Mahmood Malik, Muhammad Anas Raza,
• Abstract要約: いわゆるディープフェイクの創造と普及は、社会生活、市民の休息、法律に深刻な脅威をもたらす。 既存の検出器のほとんどは、フェイススワップ、リップシンク、パペットマスターのディープフェイクの検出に重点を置いている。 本稿では,ハイブリッド顔のランドマークを融合した特徴量を利用した統合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.23719496171112
• License:
• Abstract: The recent realistic creation and dissemination of so-called deepfakes poses a serious threat to social life, civil rest, and law. Celebrity defaming, election manipulation, and deepfakes as evidence in court of law are few potential consequences of deepfakes. The availability of open source trained models based on modern frameworks such as PyTorch or TensorFlow, video manipulations Apps such as FaceApp and REFACE, and economical computing infrastructure has easen the creation of deepfakes. Most of the existing detectors focus on detecting either face-swap, lip-sync, or puppet master deepfakes, but a unified framework to detect all three types of deepfakes is hardly explored. This paper presents a unified framework that exploits the power of proposed feature fusion of hybrid facial landmarks and our novel heart rate features for detection of all types of deepfakes. We propose novel heart rate features and fused them with the facial landmark features to better extract the facial artifacts of fake videos and natural variations available in the original videos. We used these features to train a light-weight XGBoost to classify between the deepfake and bonafide videos. We evaluated the performance of our framework on the world leaders dataset (WLDR) that contains all types of deepfakes. Experimental results illustrate that the proposed framework offers superior detection performance over the comparative deepfakes detection methods. Performance comparison of our framework against the LSTM-FCN, a candidate of deep learning model, shows that proposed model achieves similar results, however, it is more interpretable.
• Abstract（参考訳）: 近年の「ディープフェイク」の現実的な創造と普及は、社会生活、市民の休息、法律に深刻な脅威をもたらしている。 裁判所の証拠として、セレブリティの非難、選挙操作、ディープフェイクはディープフェイクの潜在的な結果はほとんどない。 PyTorchやTensorFlowといったモダンなフレームワークに基づいた、オープンソースのトレーニングモデル、FaceAppやREFACEといったアプリの操作、そして経済的なコンピューティングインフラストラクチャにより、ディープフェイクの作成が容易になった。 既存の検出器のほとんどは、フェイススワップ、リップシンク、またはパペットマスターのディープフェイクを検出することに重点を置いているが、これら3種類のディープフェイクを検知するための統一されたフレームワークは、ほとんど調査されていない。 本稿では,ハイブリッドな顔のランドマークを融合した特徴量と,新しい心拍特性を活かして,あらゆる種類のディープフェイクを検出するための統合フレームワークを提案する。 我々は、新しい心拍数機能を提案し、それらを顔のランドマーク機能と融合させて、偽ビデオの顔のアーティファクトや、オリジナルビデオで利用できる自然なバリエーションをよりよく抽出する。 これらの機能を使って、軽量のXGBoostをトレーニングし、Deepfakeとbonafideのビデオを分類しました。 我々は、あらゆる種類のディープフェイクを含む世界リーダーデータセット(WLDR)上で、我々のフレームワークの性能を評価した。 実験結果から,提案フレームワークは, 比較深度検出法よりも優れた検出性能を有することが示された。 深層学習モデルの候補であるLSTM-FCNに対する我々のフレームワークの性能比較は,提案モデルが類似の結果を得ることを示すが,より解釈可能である。

関連論文リスト

• Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
  被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。 本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。 我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
  論文  参考訳（メタデータ） (2024-10-10T13:10:34Z)
• Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes [3.6308756891251392]
  生成AIの一種であるリアルタイムディープフェイク(Real-time Deepfake)は、ビデオ内の既存のコンテンツ(例えば、顔を別のものと交換する)を「生成する」ことができる。 金融詐欺や政治的誤報など、悪意ある目的のためにディープフェイクビデオを作るのに誤用されている。 本研究では,物理干渉に適応できないディープフェイクモデルを利用した新しいリアルタイムディープフェイク検出手法であるSFakeを提案する。
  論文  参考訳（メタデータ） (2024-09-17T04:58:30Z)
• DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake Detection [67.3143177137102]
  ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。 本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:19:45Z)
• AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors [24.78672820633581]
  深層生成モデルは、偽情報や著作権侵害に対する懸念を高めながら、驚くほど偽のイメージを作成することができる。 実画像と偽画像とを区別するためにディープフェイク検出技術が開発された。 本稿では,視覚言語モデルとアクシデントチューニング技術を用いて,Antifake Promptと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-26T14:23:45Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection [50.33525966541906]
  既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。 NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。 我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
  論文  参考訳（メタデータ） (2023-06-12T06:06:05Z)
• Undercover Deepfakes: Detecting Fake Segments in Videos [1.2609216345578933]
  ディープフェイク・ジェネレーションは ディープフェイクの新しいパラダイムだ ほとんどは 真実を歪めるために わずかに修正された 実際のビデオだ 本稿では,フレームとビデオレベルでディープフェイク予測を行うことにより,この問題に対処できるディープフェイク検出手法を提案する。 特に、私たちが取り組むパラダイムは、ディープフェイクのモデレーションのための強力なツールを形成します。
  論文  参考訳（メタデータ） (2023-05-11T04:43:10Z)
• Real Face Foundation Representation Learning for Generalized Deepfake Detection [74.4691295738097]
  ディープフェイク技術の出現は、個人のプライバシーと公共の安全に脅威をもたらすため、社会的な問題となっている。 十分な偽の顔を集めることはほぼ不可能であり、既存の検出器があらゆる種類の操作に一般化することは困難である。 本稿では,大規模な実顔データセットから一般表現を学習することを目的としたリアルフェイスファウンデーション表現学習(RFFR)を提案する。
  論文  参考訳（メタデータ） (2023-03-15T08:27:56Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning [17.40885531847159]
  ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。 本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。 レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
  論文  参考訳（メタデータ） (2021-05-13T07:31:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。