論文の概要: LLMs Are Not Yet Ready for Deepfake Image Detection

• arxiv url: http://arxiv.org/abs/2506.10474v1
• Date: Thu, 12 Jun 2025 08:27:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.647234
• Title: LLMs Are Not Yet Ready for Deepfake Image Detection
• Title（参考訳）: LLMはまだディープフェイク画像検出に対応していない
• Authors: Shahroz Tariq, David Nguyen, M. A. P. Chamikara, Tingmin Wu, Alsharif Abuadbba, Kristen Moore,
• Abstract要約: 視覚言語モデル(VLM)は、様々な領域にまたがる有望なツールとして登場した。 本研究は, ファスワップ, 再現, 合成生成の3つの主要なディープフェイクタイプに焦点を当てた。 解析の結果、VLMはコヒーレントな説明を生成でき、表面レベルの異常を検出できるが、スタンドアロン検出システムとしてはまだ信頼できないことが示唆された。
• 参考スコア（独自算出の注目度）: 8.364956401923108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing sophistication of deepfakes presents substantial challenges to the integrity of media and the preservation of public trust. Concurrently, vision-language models (VLMs), large language models enhanced with visual reasoning capabilities, have emerged as promising tools across various domains, sparking interest in their applicability to deepfake detection. This study conducts a structured zero-shot evaluation of four prominent VLMs: ChatGPT, Claude, Gemini, and Grok, focusing on three primary deepfake types: faceswap, reenactment, and synthetic generation. Leveraging a meticulously assembled benchmark comprising authentic and manipulated images from diverse sources, we evaluate each model's classification accuracy and reasoning depth. Our analysis indicates that while VLMs can produce coherent explanations and detect surface-level anomalies, they are not yet dependable as standalone detection systems. We highlight critical failure modes, such as an overemphasis on stylistic elements and vulnerability to misleading visual patterns like vintage aesthetics. Nevertheless, VLMs exhibit strengths in interpretability and contextual analysis, suggesting their potential to augment human expertise in forensic workflows. These insights imply that although general-purpose models currently lack the reliability needed for autonomous deepfake detection, they hold promise as integral components in hybrid or human-in-the-loop detection frameworks.
• Abstract（参考訳）: ディープフェイクの高度化が進むと、メディアの完全性と公的信頼の維持に重大な課題が生じる。 同時に視覚言語モデル(VLM)は、視覚的推論能力によって拡張された大きな言語モデルであり、様々な領域で有望なツールとして登場し、ディープフェイク検出への適用性への関心を喚起している。 本研究は,ChatGPT,Claude,Gemini,Grokの4種類の顕著なVLMのゼロショット評価を行い,ファスワップ,再現,合成生成の3つの主要なディープフェイクタイプに着目した。 様々な情報源から得られた実画像と操作画像からなる精密に組み立てたベンチマークを用いて,各モデルの分類精度と推論深度を評価する。 解析の結果、VLMはコヒーレントな説明を生成でき、表面レベルの異常を検出できるが、スタンドアロン検出システムとしてはまだ信頼できないことが示唆された。 私たちは、スタイリスティックな要素に対する過剰な強調や、ヴィンテージ美学のような視覚的パターンを誤解させる脆弱性など、重要な障害モードを強調します。 それでも、VLMは解釈可能性と文脈分析の強さを示し、法医学的ワークフローにおける人間の専門性を増強する可能性を示唆している。 これらの知見は、現在汎用モデルは、自律的なディープフェイク検出に必要な信頼性を欠いているが、ハイブリッドまたはヒューマン・イン・ザ・ループ検出フレームワークにおける統合的なコンポーネントとして約束されていることを示唆している。

関連論文リスト

• Transferable Adversarial Attacks on Black-Box Vision-Language Models [63.22532779621001]
  敵対的攻撃は、テキストのみのコンテキストとビジョンのみのコンテキストにおいて、オープンソースからプロプライエタリなブラックボックスモデルに移行することができる。 攻撃者は、特定の攻撃者による視覚情報の解釈を誘導するために、摂動を作れます。 普遍的な摂動 -- 広い範囲のイメージに適用可能な修正 -- は、これらの誤解釈を一貫して引き起こすことを発見した。
  論文  参考訳（メタデータ） (2025-05-02T06:51:11Z)
• Unveiling the Lack of LVLM Robustness to Fundamental Visual Variations: Why and Path Forward [1.7971686967440696]
  V$2$R-Benchは、LVLMの視覚変化ロバスト性を評価するためのベンチマークフレームワークである。 本研究では,複雑な視覚言語タスクに優れた高度なモデルが,オブジェクト認識などの単純なタスクでは著しく性能が劣っていることを示す。 これらの脆弱性は、パイプラインアーキテクチャにおけるエラーの蓄積と、マルチモーダルアライメントの不十分に起因する。
  論文  参考訳（メタデータ） (2025-04-23T14:01:32Z)
• Can Multi-modal (reasoning) LLMs work as deepfake detectors? [6.36797761822772]
  我々は、複数のデータセットにわたる従来のディープフェイク検出手法に対して、最新の12のマルチモーダルLCMをベンチマークする。 以上の結果から,最高のマルチモーダルLCMはゼロショットで有望な一般化能力を持つ競争性能を達成できることが示唆された。 本研究では,将来のディープフェイク検出フレームワークにマルチモーダル推論を統合する可能性を強調した。
  論文  参考訳（メタデータ） (2025-03-25T21:47:29Z)
• Breaking Focus: Contextual Distraction Curse in Large Language Models [68.4534308805202]
  大規模言語モデル(LLM)の重大な脆弱性について検討する。 この現象は、セマンティック・コヒーレントだが無関係な文脈で修正された質問に対して、モデルが一貫した性能を維持することができないときに発生する。 本稿では,CDVの例を自動生成する効率的な木探索手法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)
• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
  マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました 埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。 提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。