論文の概要: Conditioned Prompt-Optimization for Continual Deepfake Detection

• arxiv url: http://arxiv.org/abs/2407.21554v1
• Date: Wed, 31 Jul 2024 12:22:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 12:37:28.330035
• Title: Conditioned Prompt-Optimization for Continual Deepfake Detection
• Title（参考訳）: 連続ディープフェイク検出のための条件付きプロンプト最適化
• Authors: Francesco Laiti, Benedetta Liberatori, Thomas De Min, Elisa Ricci,
• Abstract要約: 本稿では,Pmpt2Guardについて紹介する。 我々は,読み出し専用プロンプトを用いた予測アンサンブル手法を活用し,複数のフォワードパスの必要性を軽減した。 提案手法は,ディープフェイク検出に適したテキスト・プロンプト・コンディショニングを利用する。
• 参考スコア（独自算出の注目度）: 11.634681724245933
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rapid advancement of generative models has significantly enhanced the realism and customization of digital content creation. The increasing power of these tools, coupled with their ease of access, fuels the creation of photorealistic fake content, termed deepfakes, that raises substantial concerns about their potential misuse. In response, there has been notable progress in developing detection mechanisms to identify content produced by these advanced systems. However, existing methods often struggle to adapt to the continuously evolving landscape of deepfake generation. This paper introduces Prompt2Guard, a novel solution for exemplar-free continual deepfake detection of images, that leverages Vision-Language Models (VLMs) and domain-specific multimodal prompts. Compared to previous VLM-based approaches that are either bounded by prompt selection accuracy or necessitate multiple forward passes, we leverage a prediction ensembling technique with read-only prompts. Read-only prompts do not interact with VLMs internal representation, mitigating the need for multiple forward passes. Thus, we enhance efficiency and accuracy in detecting generated content. Additionally, our method exploits a text-prompt conditioning tailored to deepfake detection, which we demonstrate is beneficial in our setting. We evaluate Prompt2Guard on CDDB-Hard, a continual deepfake detection benchmark composed of five deepfake detection datasets spanning multiple domains and generators, achieving a new state-of-the-art. Additionally, our results underscore the effectiveness of our approach in addressing the challenges posed by continual deepfake detection, paving the way for more robust and adaptable solutions in deepfake detection.
• Abstract（参考訳）: 生成モデルの急速な進歩により、デジタルコンテンツ作成のリアリズムとカスタマイズが大幅に向上した。 これらのツールのパワーは、アクセスの容易さと相まって、ディープフェイク(deepfakes)と呼ばれるフォトリアリスティックなフェイクコンテンツの作成を促進する。 これに対し、これらの先進的なシステムによって生成されたコンテンツを識別する検出メカニズムの開発が目覚ましい進展を遂げている。 しかし、既存の手法は、ディープフェイク・ジェネレーションの継続的な発展に適応するのに苦慮することが多い。 本稿では、VLM(Vision-Language Models)とドメイン固有のマルチモーダルプロンプトを利用する、画像の非正規な連続的なディープフェイク検出のための新しいソリューションであるPrompt2Guardを紹介する。 従来のVLMベースのアプローチと比較して,選択精度が向上するか,複数前方通過が必要であった場合と比較して,読み出しのみのプロンプトを用いた予測アンサンブル手法を利用する。 読み取り専用プロンプトはVLMの内部表現とは相互作用せず、複数のフォワードパスの必要性を緩和する。 これにより、生成されたコンテンツを検出する効率と精度を高めることができる。 さらに,本手法では,ディープフェイク検出に適したテキスト・プロンプト・コンディショニングを利用する。 我々は、複数のドメインとジェネレータにまたがる5つのディープフェイク検出データセットからなる連続的なディープフェイク検出ベンチマークであるCDDB-Hard上でPrompt2Guardを評価し、新しい最先端を実現する。 さらに,本研究の結果は, 深度検出による課題に対処する上でのアプローチの有効性を強調し, 深度検出におけるより堅牢で適応性の高いソリューションへの道を開いた。

関連論文リスト

• Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
  デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。 オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。 本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T18:45:01Z)
• The Tug-of-War Between Deepfake Generation and Detection [4.62070292702111]
  マルチモーダル生成モデルは急速に進化しており、現実的なビデオやオーディオの生成が急増している。 ディープフェイクビデオは、個人を説得力を持って偽造することができるが、悪用の可能性から特に注目を集めている。 本研究では,ディープフェイク映像の生成と検出の両面を考察し,効果的な対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-07-08T17:49:41Z)
• Evolving from Single-modal to Multi-modal Facial Deepfake Detection: A Survey [40.11614155244292]
  AI生成メディアがより現実的になるにつれて、誤情報を拡散したり、身元確認詐欺を犯したりする危険性が高まっている。 この研究は、従来の単一モダリティ手法から、音声・視覚・テキスト・視覚シナリオを扱う高度なマルチモーダルアプローチへの進化を辿る。 私たちの知る限りでは、この種の調査はこれが初めてである。
  論文  参考訳（メタデータ） (2024-06-11T05:48:04Z)
• AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors [24.78672820633581]
  深層生成モデルは、偽情報や著作権侵害に対する懸念を高めながら、驚くほど偽のイメージを作成することができる。 実画像と偽画像とを区別するためにディープフェイク検出技術が開発された。 本稿では,視覚言語モデルとアクシデントチューニング技術を用いて,Antifake Promptと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-26T14:23:45Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• MMNet: Multi-Collaboration and Multi-Supervision Network for Sequential Deepfake Detection [81.59191603867586]
  シークエンシャルディープフェイク検出は、回復のための正しいシーケンスで偽の顔領域を特定することを目的としている。 偽画像の復元には、逆変換を実装するための操作モデルの知識が必要である。 顔画像の空間スケールや逐次順列化を扱うマルチコラボレーション・マルチスーパービジョンネットワーク(MMNet)を提案する。
  論文  参考訳（メタデータ） (2023-07-06T02:32:08Z)
• NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection [50.33525966541906]
  既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。 NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。 我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
  論文  参考訳（メタデータ） (2023-06-12T06:06:05Z)
• A Continual Deepfake Detection Benchmark: Dataset, Methods, and Essentials [97.69553832500547]
  本稿では, 既知の生成モデルと未知の生成モデルの両方から, 新たなディープフェイク集合に対する連続的なディープフェイク検出ベンチマーク(CDDB)を提案する。 本研究では,連続的なディープラーニング検出問題に対して,連続的な視覚認識で一般的に使用される多クラス漸進学習手法を適応するために,複数のアプローチを利用する。
  論文  参考訳（メタデータ） (2022-05-11T13:07:19Z)
• Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
  ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。 本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。 種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
  論文  参考訳（メタデータ） (2021-05-29T21:22:24Z)
• M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
  Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。 本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。 最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
  論文  参考訳（メタデータ） (2021-04-20T05:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。