論文の概要: Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities

• arxiv url: http://arxiv.org/abs/2407.20337v1
• Date: Mon, 29 Jul 2024 18:00:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 19:08:17.745509
• Title: Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities
• Title（参考訳）: コントラスト学習とグローバルローカル類似性によるディープフェイク拡散の対比
• Authors: Lorenzo Baraldi, Federico Cocchi, Marcella Cornia, Lorenzo Baraldi, Alessandro Nicolosi, Rita Cucchiara,
• Abstract要約: Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。 CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
• 参考スコア（独自算出の注目度）: 88.398085358514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discerning between authentic content and that generated by advanced AI methods has become increasingly challenging. While previous research primarily addresses the detection of fake faces, the identification of generated natural images has only recently surfaced. This prompted the recent exploration of solutions that employ foundation vision-and-language models, like CLIP. However, the CLIP embedding space is optimized for global image-to-text alignment and is not inherently designed for deepfake detection, neglecting the potential benefits of tailored training and local image features. In this study, we propose CoDE (Contrastive Deepfake Embeddings), a novel embedding space specifically designed for deepfake detection. CoDE is trained via contrastive learning by additionally enforcing global-local similarities. To sustain the training of our model, we generate a comprehensive dataset that focuses on images generated by diffusion models and encompasses a collection of 9.2 million images produced by using four different generators. Experimental results demonstrate that CoDE achieves state-of-the-art accuracy on the newly collected dataset, while also showing excellent generalization capabilities to unseen image generators. Our source code, trained models, and collected dataset are publicly available at: https://github.com/aimagelab/CoDE.
• Abstract（参考訳）: 真のコンテンツと高度なAIメソッドが生成するコンテンツの識別は、ますます困難になっている。 これまでの研究は、主に偽の顔の検出に対処してきたが、生成した自然画像の識別は、最近やっと表面化している。 これはCLIPのような基礎的なビジョン・アンド・ランゲージモデルを採用するソリューションを最近探究するきっかけとなった。 しかし、CLIPの埋め込みスペースは、グローバルな画像とテキストのアライメントに最適化されており、本質的にディープフェイク検出のために設計されていない。 本研究では, ディープフェイク検出に特化した新しい埋め込み空間であるCoDE(Contrastive Deepfake Embeddings)を提案する。 CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。 モデルのトレーニングを継続するために、拡散モデルによって生成された画像に焦点をあてた包括的なデータセットを生成し、4つの異なるジェネレータを用いて生成された920万画像のコレクションを包含する。 実験結果から,CoDEは新たに収集したデータセットに対して最先端の精度を実現し,画像生成装置に優れた一般化能力を示すことがわかった。 私たちのソースコード、トレーニングされたモデル、収集されたデータセットは、https://github.com/aimagelab/CoDE.comで公開されています。

関連論文リスト

• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
  フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。 公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。 我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
  論文  参考訳（メタデータ） (2024-02-03T03:13:50Z)
• Rethinking the Up-Sampling Operations in CNN-based Generative Network for Generalizable Deepfake Detection [86.97062579515833]
  我々は、アップサンプリング操作から生じる一般化された構造的アーティファクトをキャプチャし、特徴付ける手段として、NPR(Neighboring Pixel Relationships)の概念を紹介した。 tft28の異なる生成モデルによって生成されたサンプルを含む、オープンワールドデータセット上で包括的な分析を行う。 この分析は、新しい最先端のパフォーマンスを確立し、既存の手法よりも優れたtft11.6%の向上を示している。
  論文  参考訳（メタデータ） (2023-12-16T14:27:06Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• GLFF: Global and Local Feature Fusion for AI-synthesized Image Detection [29.118321046339656]
  画像全体から複数スケールのグローバルな特徴と、AI合成画像検出のための情報パッチからの洗練されたローカル特徴を組み合わせることで、リッチで差別的な表現を学習するフレームワークを提案する。 GLFFは、マルチスケールの意味的特徴を抽出するグローバルブランチと、詳細なローカルアーティファクト抽出のための情報パッチを選択するローカルブランチの2つのブランチから情報を抽出する。
  論文  参考訳（メタデータ） (2022-11-16T02:03:20Z)
• Fusing Global and Local Features for Generalized AI-Synthesized Image Detection [31.35052580048599]
  画像全体からのグローバル空間情報と,新しいパッチ選択モジュールによって選択されたパッチからの局所的な情報的特徴を結合する2分岐モデルを設計する。 さまざまなオブジェクトと解像度を持つ19のモデルで合成された非常に多様なデータセットを収集し、モデルを評価する。
  論文  参考訳（メタデータ） (2022-03-26T01:55:37Z)
• Towards Discovery and Attribution of Open-world GAN Generated Images [18.10496076534083]
  本稿では,未確認のGANから生成した画像の反復的探索アルゴリズムを提案する。 アルゴリズムはネットワークトレーニング,分散検出,クラスタリング,マージ,洗練といった複数のコンポーネントで構成されている。 私たちの実験は、新しいganを発見し、オープンワールドのセットアップで使用できるアプローチの有効性を示しています。
  論文  参考訳（メタデータ） (2021-05-10T18:00:13Z)
• DeepFake Detection by Analyzing Convolutional Traces [0.0]
  我々は,人間の顔のディープフェイクの分析に着目し,新しい検出方法を提案する。 提案手法は, 予測最大化(EM)アルゴリズムを用いて, 基礎となる畳み込み生成過程をモデル化するための局所的特徴の集合を抽出する。 その結果、異なるアーキテクチャと対応する生成過程を区別する手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-22T09:02:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。