論文の概要: DeCLIP: Decoding CLIP representations for deepfake localization

• arxiv url: http://arxiv.org/abs/2409.08849v1
• Date: Thu, 12 Sep 2024 17:59:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 16:19:29.635284
• Title: DeCLIP: Decoding CLIP representations for deepfake localization
• Title（参考訳）: DeCLIP: ディープフェイクローカライゼーションのためのCLIP表現のデコード
• Authors: Stefan Smeu, Elisabeta Oneata, Dan Oneata,
• Abstract要約: DeCLIPは、局所的な操作を検出するために、大規模な事前学習機能を活用する最初の試みである。 合理的に大きな畳み込みデコーダと組み合わせることで、事前学習された自己教師付き表現がローカライズを行うことができることを示す。 従来の研究とは異なり、我々の手法は潜在拡散モデルの挑戦的な場合において局所化を行うことができる。
• 参考スコア（独自算出の注目度）: 4.04729645587678
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generative models can create entirely new images, but they can also partially modify real images in ways that are undetectable to the human eye. In this paper, we address the challenge of automatically detecting such local manipulations. One of the most pressing problems in deepfake detection remains the ability of models to generalize to different classes of generators. In the case of fully manipulated images, representations extracted from large self-supervised models (such as CLIP) provide a promising direction towards more robust detectors. Here, we introduce DeCLIP, a first attempt to leverage such large pretrained features for detecting local manipulations. We show that, when combined with a reasonably large convolutional decoder, pretrained self-supervised representations are able to perform localization and improve generalization capabilities over existing methods. Unlike previous work, our approach is able to perform localization on the challenging case of latent diffusion models, where the entire image is affected by the fingerprint of the generator. Moreover, we observe that this type of data, which combines local semantic information with a global fingerprint, provides more stable generalization than other categories of generative methods.
• Abstract（参考訳）: 生成モデルは全く新しい画像を生成できるが、人間の目では検出できない方法で、実際の画像を部分的に修正することもできる。 本稿では,そのような局所的な操作を自動的に検出する課題に対処する。 ディープフェイク検出における最も差し迫った問題の1つは、モデルが様々な種類のジェネレータに一般化できることである。 完全に操作された画像の場合、CLIPのような大規模な自己監督型モデルから抽出された表現は、より堅牢な検出器への有望な方向を提供する。 本稿では,局所的な操作を検出するために,このような大規模な事前学習機能を活用する最初の試みであるDeCLIPを紹介する。 畳み込みデコーダと組み合わさると、事前訓練された自己教師付き表現は、既存の手法よりも局所化を行い、一般化能力を向上させることができることを示す。 従来の研究と異なり,本手法では,画像全体が生成者の指紋によって影響を受ける潜伏拡散モデル(英語版)の課題に対して,局所化を行うことができる。 さらに, 局所的な意味情報とグローバルな指紋を結合したこの種のデータにより, 生成手法の他のカテゴリよりも安定な一般化が期待できる。

関連論文リスト

• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
  Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。 CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
  論文  参考訳（メタデータ） (2024-07-29T18:00:10Z)
• Weakly-supervised deepfake localization in diffusion-generated images [4.548755617115687]
  本稿では,Xception ネットワークをバックボーンアーキテクチャとして用いた弱教師付きローカライズ問題を提案する。 本研究では,(局所スコアに基づく)最良動作検出法は,データセットやジェネレータのミスマッチよりも,より緩やかな監視に敏感であることを示す。
  論文  参考訳（メタデータ） (2023-11-08T10:27:36Z)
• Pixel-Inconsistency Modeling for Image Manipulation Localization [59.968362815126326]
  デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。 本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。 実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
  論文  参考訳（メタデータ） (2023-09-30T02:54:51Z)
• Securing Deep Generative Models with Universal Adversarial Signature [69.51685424016055]
  深い生成モデルは、その潜在的な誤用のために社会に脅威をもたらす。 本稿では,任意の事前学習型生成モデルに普遍的逆数シグネチャを注入することを提案する。 提案手法は, FFHQ と ImageNet のデータセット上で, 様々な最先端生成モデルを用いて検証する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:01Z)
• TruFor: Leveraging all-round clues for trustworthy image forgery detection and localization [17.270110456445806]
  TruForは、さまざまなイメージ操作方法に適用可能な、法医学的なフレームワークである。 変換器をベースとした融合アーキテクチャにより,高レベルのトレースと低レベルのトレースの両方を抽出する。 当社の手法は,安価なフェイクとディープフェイク操作の両方を確実に検出し,ローカライズすることができる。
  論文  参考訳（メタデータ） (2022-12-21T11:49:43Z)
• Towards Effective Image Manipulation Detection with Proposal Contrastive Learning [61.5469708038966]
  本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。 我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。 我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
  論文  参考訳（メタデータ） (2022-10-16T13:30:13Z)
• DeepFake Detection by Analyzing Convolutional Traces [0.0]
  我々は,人間の顔のディープフェイクの分析に着目し,新しい検出方法を提案する。 提案手法は, 予測最大化(EM)アルゴリズムを用いて, 基礎となる畳み込み生成過程をモデル化するための局所的特徴の集合を抽出する。 その結果、異なるアーキテクチャと対応する生成過程を区別する手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-22T09:02:55Z)
• Decoupling Global and Local Representations via Invertible Generative Flows [47.366299240738094]
  標準画像ベンチマークによる実験結果から, 密度推定, 画像生成, 教師なし表現学習の観点から, モデルの有効性が示された。 この研究は、確率に基づく目的を持つ生成モデルが疎結合表現を学習でき、明示的な監督を必要としないことを示した。
  論文  参考訳（メタデータ） (2020-04-12T03:18:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。