論文の概要: AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors

• arxiv url: http://arxiv.org/abs/2310.17419v2
• Date: Fri, 3 Nov 2023 03:26:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 16:55:00.388666
• Title: AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors
• Title（参考訳）: アンチフェイクプロンプト:プロンプト付き視覚ランゲージモデルはフェイク画像検出器
• Authors: You-Ming Chang, Chen Yeh, Wei-Chen Chiu, Ning Yu
• Abstract要約: 深層生成モデルは、偽情報や著作権侵害に対する懸念を高めながら、驚くほど偽のイメージを作成することができる。 実画像と偽画像とを区別するためにディープフェイク検出技術が開発された。 本稿では,視覚言語モデル(VLM)を用いた新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 27.07771989900852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models can create remarkably photorealistic fake images while raising concerns about misinformation and copyright infringement, known as deepfake threats. Deepfake detection technique is developed to distinguish between real and fake images, where the existing methods typically train classifiers in the image domain or various feature domains. However, the generalizability of deepfake detection against emerging and more advanced generative models remains challenging. In this paper, inspired by the zero-shot advantages of Vision-Language Models (VLMs), we propose a novel approach using VLMs (e.g. InstructBLIP) and prompt tuning techniques to improve the deepfake detection accuracy over unseen data. We formulate deepfake detection as a visual question answering problem, and tune soft prompts for InstructBLIP to distinguish a query image is real or fake. We conduct full-spectrum experiments on datasets from 3 held-in and 13 held-out generative models, covering modern text-to-image generation, image editing and image attacks. Results demonstrate that (1) the deepfake detection accuracy can be significantly and consistently improved (from 54.6% to 91.31%, in average accuracy over unseen data) using pretrained vision-language models with prompt tuning; (2) our superior performance is at less cost of trainable parameters, resulting in an effective and efficient solution for deepfake detection. Code and models can be found at https://github.com/nctu-eva-lab/AntifakePrompt.
• Abstract（参考訳）: 深層生成モデルは、深部フェイク脅威として知られる誤情報や著作権侵害に対する懸念を高めながら、驚くほど写実的な偽画像を作成することができる。 ディープフェイク検出技術は実画像と偽画像とを区別するために開発され、既存の手法では画像領域や様々な特徴領域の分類器を訓練する。 しかし、より先進的な生成モデルに対するディープフェイク検出の一般化は依然として困難である。 本稿では,視覚言語モデル(vlms)のゼロショット・アドバンテージに触発されて,vlms(例えばinstructblip)とプロンプト・チューニング技術を用いた新しい手法を提案する。 ディープフェイク検出を視覚的質問応答問題として定式化し,クエリ画像の識別のためのソフトプロンプトをインストラクタにチューニングする。 3つのホールドインおよび13のホールドアウト生成モデルから得られたデータセットのフルスペクトル実験を行い、現代のテキスト画像生成、画像編集、画像攻撃をカバーした。 その結果,(1)事前学習した視覚言語モデルを用いたディープフェイク検出精度(54.6%から91.31%)の精度向上,(2)学習可能なパラメータのコスト低減,そしてディープフェイク検出の効率的かつ効率的な解決策が得られた。 コードとモデルはhttps://github.com/nctu-eva-lab/AntifakePrompt.comにある。

関連論文リスト

• CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
  クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。 既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。 顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
  論文  参考訳（メタデータ） (2023-09-30T12:30:25Z)
• Robustness and Generalizability of Deepfake Detection: A Study with Diffusion Models [35.188364409869465]
  本稿では,ディープフェイクの作り方と識別方法について検討する。 私たちの研究の基盤は、DeepFakeFaceという名の有名人の顔の豊富なコレクションです。 このデータはディープフェイクを見つけるために設計されたアルゴリズムを訓練し、テストするための堅牢な基盤となる。
  論文  参考訳（メタデータ） (2023-09-05T13:22:41Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for Exposing Deepfakes [7.553507857251396]
  本研究では,検出問題を(一級)アウト・オブ・ディストリビューション検出タスクとして形式化する,SeeABLEと呼ばれる新しいディープフェイク検出器を提案する。 SeeABLEは、新しい回帰ベースの有界コントラスト損失を使用して、乱れた顔を事前定義されたプロトタイプにプッシュする。 我々のモデルは競合する最先端の検出器よりも高い性能を示しながら、高度に一般化能力を示す。
  論文  参考訳（メタデータ） (2022-11-21T09:38:30Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• DA-FDFtNet: Dual Attention Fake Detection Fine-tuning Network to Detect Various AI-Generated Fake Images [21.030153777110026]
  ディープフェイク」のような偽画像の作成がずっと簡単になった。 近年の研究では、少量のトレーニングデータを用いて、フェイク画像や動画をより効果的に生成する、いくつかのショットラーニングが導入されている。 本研究では,操作した偽顔画像を検出するために,DA-tNet(Dual Attention Fine-tuning Network)を提案する。
  論文  参考訳（メタデータ） (2021-12-22T16:25:24Z)
• Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
  ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。 本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。 種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
  論文  参考訳（メタデータ） (2021-05-29T21:22:24Z)
• TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning [17.40885531847159]
  ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。 本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。 レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
  論文  参考訳（メタデータ） (2021-05-13T07:31:08Z)
• M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
  Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。 本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。 最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
  論文  参考訳（メタデータ） (2021-04-20T05:43:44Z)
• What makes fake images detectable? Understanding properties that generalize [55.4211069143719]
  深層ネットワークは、博士画像の微妙なアーティファクトを拾い上げることができる。 我々は、偽画像のどの特性が検出可能かを理解することを模索する。 検出可能な特性を誇張する手法を示す。
  論文  参考訳（メタデータ） (2020-08-24T17:50:28Z)
• FDFtNet: Facing Off Fake Images using Fake Detection Fine-tuning Network [19.246576904646172]
  本稿では,FaketNetと呼ばれる,軽量な微調整ニューラルネットワークアーキテクチャを提案する。 提案手法は,偽画像の検出を効果的に行うための微調整のために,数枚の画像のみを用いて,人気のある事前学習モデルを再利用することを目的としている。 我々の tNet は GANs ベースのデータセットから生成された偽画像の総合的精度 9029% を達成する。
  論文  参考訳（メタデータ） (2020-01-05T16:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。