論文の概要: Task-aligned prompting improves zero-shot detection of AI-generated images by Vision-Language Models

• arxiv url: http://arxiv.org/abs/2506.11031v2
• Date: Mon, 16 Jun 2025 01:28:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 15:15:31.693468
• Title: Task-aligned prompting improves zero-shot detection of AI-generated images by Vision-Language Models
• Title（参考訳）: タスクアラインプロンプトによる視覚言語モデルによるAI生成画像のゼロショット検出の改善
• Authors: Zoher Kachwala, Danishjeet Singh, Danielle Yang, Filippo Menczer,
• Abstract要約: 本研究では,AI生成画像のゼロショット検出における事前学習型視覚言語モデルの使用について検討する。 タスクアライメントの促進により、より焦点を絞った推論が可能となり、微調整なしで性能が大幅に向上することを示す。 以上の結果から,タスクアライメントは,VLMの潜在能力の向上と,より集中的な推論を促すことが示唆された。
• 参考スコア（独自算出の注目度）: 2.005104318774207
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As image generators produce increasingly realistic images, concerns about potential misuse continue to grow. Supervised detection relies on large, curated datasets and struggles to generalize across diverse generators. In this work, we investigate the use of pre-trained Vision-Language Models (VLMs) for zero-shot detection of AI-generated images. While off-the-shelf VLMs exhibit some task-specific reasoning and chain-of-thought prompting offers gains, we show that task-aligned prompting elicits more focused reasoning and significantly improves performance without fine-tuning. Specifically, prefixing the model's response with the phrase "Let's examine the style and the synthesis artifacts" -- a method we call zero-shot-s$^2$ -- boosts Macro F1 scores by 8%-29%. These gains are consistent for two widely used open-source models and across three recent, diverse datasets spanning human faces, objects, and animals with images generated by 16 different models -- demonstrating strong generalization. We further evaluate the approach across three additional model sizes and observe improvements in most dataset-model combinations -- suggesting robustness to model scale. Surprisingly, self-consistency, a behavior previously observed in language reasoning, where aggregating answers from diverse reasoning paths improves performance, also holds in this setting. Even here, zero-shot-s$^2$ scales better than chain-of-thought in most cases -- indicating that it elicits more useful diversity. Our findings show that task-aligned prompts elicit more focused reasoning and enhance latent capabilities in VLMs, like the detection of AI-generated images -- offering a simple, generalizable, and explainable alternative to supervised methods. Our code is publicly available on github: https://github.com/Zoher15/Zero-shot-s2.
• Abstract（参考訳）: 画像生成装置がより現実的な画像を生成するにつれて、潜在的な誤用に関する懸念が高まり続けている。 監視された検出は、大規模でキュレートされたデータセットに依存し、多様なジェネレータをまたいだ一般化に苦労する。 本研究では,AI生成画像のゼロショット検出にVLM(Pre-trained Vision-Language Models)を用いることを検討した。 既成のVLMでは,タスク固有の推論やチェーン・オブ・シンセサイティングが向上する一方で,タスク整合的推論がより焦点を絞った推論を誘発し,微調整を伴わずに性能を著しく向上させることを示す。 具体的には、"Let's examine the style and the synthesis artifacts"というフレーズでモデルの応答をプレフィックスすると、ゼロショット=s$^2$と呼ばれるメソッドが、マクロF1のスコアを8%-29%押し上げます。 これらの利益は、広く使われている2つのオープンソースモデルと、16の異なるモデルによって生成された画像を持つ人間の顔、オブジェクト、動物にまたがる、最近の3つの多様なデータセットで一致している。 さらに、3つのモデルサイズにまたがるアプローチを評価し、ほとんどのデータセットとモデルの組み合わせの改善を観察します。 驚くべきことに、言語推論で以前に見られた行動である自己整合性(self-consistency)は、様々な推論経路からの回答を集約することで、パフォーマンスが向上する。 ゼロショット=s^2$のスケールは、ほとんどの場合、チェーン・オブ・インフォメーションよりも優れており、より有用な多様性をもたらすことを示している。 我々の研究結果は、タスクアラインメントがAI生成画像の検出など、VLMのより集中的な推論と潜時能力の向上を招き、教師付きメソッドの単純で一般化可能な代替手段を提供することを示している。 私たちのコードはgithubで公開されている。 https://github.com/Zoher15/Zero-shot-s2。

関連論文リスト

• FakeReasoning: Towards Generalizable Forgery Detection and Reasoning [24.8865218866598]
  フォージェリ検出・推論タスク(FDR-Task)としてのAI生成画像の検出と説明のモデル化を提案する。 10つの生成モデルにわたる100K画像を含む大規模データセットであるMulti-Modal Forgery Reasoning dataset (MMFR-Dataset)を紹介する。 また、FakeReasoningという2つの重要なコンポーネントを持つ偽検出および推論フレームワークも提案する。
  論文  参考訳（メタデータ） (2025-03-27T06:54:06Z)
• Zero-Shot Detection of AI-Generated Images [54.01282123570917]
  AI生成画像を検出するゼロショットエントロピー検出器(ZED)を提案する。 機械によるテキスト検出の最近の研究に触発された私たちのアイデアは、分析対象の画像が実際の画像のモデルと比較してどれだけ驚くかを測定することである。 ZEDは精度の点でSoTAよりも平均3%以上改善されている。
  論文  参考訳（メタデータ） (2024-09-24T08:46:13Z)
• Visual Delta Generator with Large Multi-modal Models for Semi-supervised Composed Image Retrieval [50.72924579220149]
  Composed Image Retrieval (CIR)は、提供されるテキスト修正に基づいて、クエリに似たイメージを取得するタスクである。 現在の技術は、基準画像、テキスト、ターゲット画像のラベル付き三重項を用いたCIRモデルの教師あり学習に依存している。 本稿では,参照とその関連対象画像を補助データとして検索する半教師付きCIR手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T21:00:22Z)
• Raising the Bar of AI-generated Image Detection with CLIP [50.345365081177555]
  本研究の目的は、AI生成画像の普遍的検出のための事前学習された視覚言語モデル(VLM)の可能性を探ることである。 我々は,CLIP機能に基づく軽量な検出戦略を開発し,その性能を様々な難易度シナリオで検証する。
  論文  参考訳（メタデータ） (2023-11-30T21:11:20Z)
• Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
  CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。 本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。 本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-04T07:26:24Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Multimodal Knowledge Alignment with Reinforcement Learning [103.68816413817372]
  ESPERは言語のみのゼロショットモデルを拡張して、画像や音声のキャプションといったマルチモーダルタスクを未確認にする。 我々の重要な新規性は、強化学習を使用することで、直接監督することなく、多モーダル入力を言語モデル世代に整列させることである。 実験の結果、ESPERはベースラインと様々なゼロショットタスクの事前作業より優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-25T10:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。