論文の概要: Self-Supervised Graph Transformer for Deepfake Detection
- arxiv url: http://arxiv.org/abs/2307.15019v1
- Date: Thu, 27 Jul 2023 17:22:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 13:42:38.113714
- Title: Self-Supervised Graph Transformer for Deepfake Detection
- Title(参考訳): ディープフェイク検出のための自己監督グラフ変換器
- Authors: Aminollah Khormali, and Jiann-Shiun Yuan
- Abstract要約: ディープフェイク検出手法は、与えられたデータセット内の偽造を認識できる有望な結果を示している。
ディープフェイク検出システムは、一般的な検出性能を保証するために、偽造タイプ、外観、品質に欠かせないままでいなければならない。
本研究では、自己教師付き事前学習モデルを利用して、例外的な一般化能力を実現するディープフェイク検出フレームワークを提案する。
- 参考スコア(独自算出の注目度): 1.8133635752982105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deepfake detection methods have shown promising results in recognizing
forgeries within a given dataset, where training and testing take place on the
in-distribution dataset. However, their performance deteriorates significantly
when presented with unseen samples. As a result, a reliable deepfake detection
system must remain impartial to forgery types, appearance, and quality for
guaranteed generalizable detection performance. Despite various attempts to
enhance cross-dataset generalization, the problem remains challenging,
particularly when testing against common post-processing perturbations, such as
video compression or blur. Hence, this study introduces a deepfake detection
framework, leveraging a self-supervised pre-training model that delivers
exceptional generalization ability, withstanding common corruptions and
enabling feature explainability. The framework comprises three key components:
a feature extractor based on vision Transformer architecture that is
pre-trained via self-supervised contrastive learning methodology, a graph
convolution network coupled with a Transformer discriminator, and a graph
Transformer relevancy map that provides a better understanding of manipulated
regions and further explains the model's decision. To assess the effectiveness
of the proposed framework, several challenging experiments are conducted,
including in-data distribution performance, cross-dataset, cross-manipulation
generalization, and robustness against common post-production perturbations.
The results achieved demonstrate the remarkable effectiveness of the proposed
deepfake detection framework, surpassing the current state-of-the-art
approaches.
- Abstract(参考訳): ディープフェイク検出手法は、特定のデータセット内の偽造を認識できる有望な結果を示しており、トレーニングとテストは、インディストリビューションデータセット上で行われる。
しかし、その性能は見当たらないサンプルを提示すると著しく低下する。
その結果、信頼性の高いディープフェイク検出システムは、一般的な検出性能を保証するために、偽造タイプ、外観、品質に不公平でなければならない。
クロスデータセットの一般化を強化する様々な試みにもかかわらず、特にビデオ圧縮やぼやけなどの一般的な後処理の摂動に対してテストする場合、この問題は依然として困難である。
そこで本研究では, 共通汚職に耐えつつ, 特徴説明可能性を実現する, 自己指導型事前学習モデルを活用したディープフェイク検出フレームワークを提案する。
このフレームワークは、自己指導型コントラスト学習手法を介して事前訓練された視覚的トランスフォーマーアーキテクチャに基づく特徴抽出器と、トランスフォーマー識別器と結合されたグラフ畳み込みネットワークと、操作された領域をよりよく理解し、モデルの決定を説明するグラフトランスフォーマー関連マップの3つの主要なコンポーネントから構成される。
提案手法の有効性を評価するため,データ分散性能,クロスデータセット,クロスマニピュレーション一般化,一般的なポストプロダクション摂動に対する堅牢性など,いくつかの挑戦的な実験を行った。
その結果,現在の最先端手法を超越したディープフェイク検出フレームワークの有効性が実証された。
関連論文リスト
- Few-Shot Anomaly Detection with Adversarial Loss for Robust Feature
Representations [8.915958745269442]
異常検出は、データセット内の通常のパターンや分布から逸脱したデータポイントを特定することを目的とした、重要で困難なタスクである。
ワンクラス・ワン・モデル手法を用いて様々な手法が提案されているが、これらの手法はメモリ不足や訓練に十分なデータを必要とするといった現実的な問題に直面していることが多い。
本稿では,より堅牢で一般化された特徴表現を得るために,対向訓練損失を統合する数発の異常検出手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T09:45:02Z) - Weakly-supervised deepfake localization in diffusion-generated images [4.548755617115687]
本稿では,Xception ネットワークをバックボーンアーキテクチャとして用いた弱教師付きローカライズ問題を提案する。
本研究では,(局所スコアに基づく)最良動作検出法は,データセットやジェネレータのミスマッチよりも,より緩やかな監視に敏感であることを示す。
論文 参考訳(メタデータ) (2023-11-08T10:27:36Z) - Improving Cross-dataset Deepfake Detection with Deep Information
Decomposition [57.284370468207214]
ディープフェイク技術は、セキュリティと社会的信頼に重大な脅威をもたらす。
既存の検出方法は、クロスデータセットのシナリオに直面した場合、パフォーマンスの急激な低下に悩まされる。
本稿では,深層情報分解(DID)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-30T12:30:25Z) - How adversarial attacks can disrupt seemingly stable accurate
classifiers [80.2657717174889]
敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。
ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。
実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
論文 参考訳(メタデータ) (2023-09-07T12:02:00Z) - Automated Deception Detection from Videos: Using End-to-End Learning
Based High-Level Features and Classification Approaches [0.0]
深層学習と識別モデルを組み合わせたマルチモーダル手法を提案する。
我々は畳み込み学習を用いて、視線、頭ポーズ、表情を解析する。
提案手法は, 経済要因による新しいローリングディース実験を含む5つのデータセットで評価される。
論文 参考訳(メタデータ) (2023-07-13T08:45:15Z) - SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for
Exposing Deepfakes [7.553507857251396]
本研究では,検出問題を(一級)アウト・オブ・ディストリビューション検出タスクとして形式化する,SeeABLEと呼ばれる新しいディープフェイク検出器を提案する。
SeeABLEは、新しい回帰ベースの有界コントラスト損失を使用して、乱れた顔を事前定義されたプロトタイプにプッシュする。
我々のモデルは競合する最先端の検出器よりも高い性能を示しながら、高度に一般化能力を示す。
論文 参考訳(メタデータ) (2022-11-21T09:38:30Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [55.52743265122446]
ディープオートエンコーダは視覚領域における異常検出のタスクに使われてきた。
我々は、訓練中に識別情報を使用することが可能な自己指導型学習体制を適用することで、この問題に対処する。
MVTec ADデータセットを用いた実験では,高い検出性能と局所化性能を示した。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - A New Approach to Improve Learning-based Deepfake Detection in Realistic
Conditions [13.334500258498798]
深層畳み込みニューラルネットワークは、複数の検出および認識タスクにおいて例外的な結果を得た。
圧縮, ノイズ, エンハンスメントなどの画像にみられる従来の歪みや処理操作の影響は十分に研究されていない。
本稿では,実世界の画像劣化プロセスに基づく,より効率的なデータ拡張手法を提案する。
論文 参考訳(メタデータ) (2022-03-22T15:16:54Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。