論文の概要: Task-aligned prompting improves zero-shot detection of AI-generated images by Vision-Language Models

• arxiv url: http://arxiv.org/abs/2506.11031v2
• Date: Mon, 16 Jun 2025 01:28:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 15:15:31.693468
• Title: Task-aligned prompting improves zero-shot detection of AI-generated images by Vision-Language Models
• Title（参考訳）: タスクアラインプロンプトによる視覚言語モデルによるAI生成画像のゼロショット検出の改善
• Authors: Zoher Kachwala, Danishjeet Singh, Danielle Yang, Filippo Menczer,
• Abstract要約: 本研究では,AI生成画像のゼロショット検出における事前学習型視覚言語モデルの使用について検討する。 タスクアライメントの促進により、より焦点を絞った推論が可能となり、微調整なしで性能が大幅に向上することを示す。 以上の結果から,タスクアライメントは,VLMの潜在能力の向上と,より集中的な推論を促すことが示唆された。
• 参考スコア（独自算出の注目度）: 2.005104318774207
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As image generators produce increasingly realistic images, concerns about potential misuse continue to grow. Supervised detection relies on large, curated datasets and struggles to generalize across diverse generators. In this work, we investigate the use of pre-trained Vision-Language Models (VLMs) for zero-shot detection of AI-generated images. While off-the-shelf VLMs exhibit some task-specific reasoning and chain-of-thought prompting offers gains, we show that task-aligned prompting elicits more focused reasoning and significantly improves performance without fine-tuning. Specifically, prefixing the model's response with the phrase "Let's examine the style and the synthesis artifacts" -- a method we call zero-shot-s$^2$ -- boosts Macro F1 scores by 8%-29%. These gains are consistent for two widely used open-source models and across three recent, diverse datasets spanning human faces, objects, and animals with images generated by 16 different models -- demonstrating strong generalization. We further evaluate the approach across three additional model sizes and observe improvements in most dataset-model combinations -- suggesting robustness to model scale. Surprisingly, self-consistency, a behavior previously observed in language reasoning, where aggregating answers from diverse reasoning paths improves performance, also holds in this setting. Even here, zero-shot-s$^2$ scales better than chain-of-thought in most cases -- indicating that it elicits more useful diversity. Our findings show that task-aligned prompts elicit more focused reasoning and enhance latent capabilities in VLMs, like the detection of AI-generated images -- offering a simple, generalizable, and explainable alternative to supervised methods. Our code is publicly available on github: https://github.com/Zoher15/Zero-shot-s2.
• Abstract（参考訳）: 画像生成装置がより現実的な画像を生成するにつれて、潜在的な誤用に関する懸念が高まり続けている。 監視された検出は、大規模でキュレートされたデータセットに依存し、多様なジェネレータをまたいだ一般化に苦労する。 本研究では,AI生成画像のゼロショット検出にVLM(Pre-trained Vision-Language Models)を用いることを検討した。 既成のVLMでは,タスク固有の推論やチェーン・オブ・シンセサイティングが向上する一方で,タスク整合的推論がより焦点を絞った推論を誘発し,微調整を伴わずに性能を著しく向上させることを示す。 具体的には、"Let's examine the style and the synthesis artifacts"というフレーズでモデルの応答をプレフィックスすると、ゼロショット=s$^2$と呼ばれるメソッドが、マクロF1のスコアを8%-29%押し上げます。 これらの利益は、広く使われている2つのオープンソースモデルと、16の異なるモデルによって生成された画像を持つ人間の顔、オブジェクト、動物にまたがる、最近の3つの多様なデータセットで一致している。 さらに、3つのモデルサイズにまたがるアプローチを評価し、ほとんどのデータセットとモデルの組み合わせの改善を観察します。 驚くべきことに、言語推論で以前に見られた行動である自己整合性(self-consistency)は、様々な推論経路からの回答を集約することで、パフォーマンスが向上する。 ゼロショット=s^2$のスケールは、ほとんどの場合、チェーン・オブ・インフォメーションよりも優れており、より有用な多様性をもたらすことを示している。 我々の研究結果は、タスクアラインメントがAI生成画像の検出など、VLMのより集中的な推論と潜時能力の向上を招き、教師付きメソッドの単純で一般化可能な代替手段を提供することを示している。 私たちのコードはgithubで公開されている。 https://github.com/Zoher15/Zero-shot-s2。

関連論文リスト

• More Images, More Problems? A Controlled Analysis of VLM Failure Modes [80.64323947730905]
  大規模視覚言語モデル (LVLM) は目覚ましい能力を示しているが、複数の画像に対する理解と推論の能力は未解明のままである。 LVLMのマルチイメージ能力を厳格に評価する新しいベンチマークMIMICを紹介する。
  論文  参考訳（メタデータ） (2026-01-12T18:45:13Z)
• Detecting AI-Generated Images via Distributional Deviations from Real Images [6.615773227400183]
  ファインチューニング中に生成モデル固有のパターンを含むテクスチャ領域をマスクするテクスチャ・アウェア・マスキング(TAM)機構を導入する。 我々の手法は最小限の画像しか調整されず、既存の手法よりも大幅に優れており、2つのデータセットの平均精度は98.2%と94.6%に達する。
  論文  参考訳（メタデータ） (2026-01-07T05:00:13Z)
• Bridging the Gap Between Ideal and Real-world Evaluation: Benchmarking AI-Generated Image Detection in Challenging Scenarios [54.07895223545793]
  本稿では,実世界ロバストネスデータセット(RRDataset)を導入し,3次元にわたる検出モデルの包括的評価を行う。 RRDatasetには7つの主要なシナリオの高品質なイメージが含まれている。 我々はRRDataset上で17の検出器と10の視覚言語モデル(VLM)をベンチマークし、大規模な人間実験を行った。
  論文  参考訳（メタデータ） (2025-09-11T06:15:52Z)
• AIGI-Holmes: Towards Explainable and Generalizable AI-Generated Image Detection via Multimodal Large Language Models [78.08374249341514]
  AI生成コンテンツ(AIGC)の急速な発展は、誤情報を拡散するAIGIの誤用につながった。 大規模で包括的なデータセットであるHolmes-Setを導入し、画像がAI生成されているかどうかを解説したインストラクションチューニングデータセットを含む。 本研究は,MLLMの構造化説明と品質管理によるデータ生成を効率化する,Multi-Expert Juryと呼ばれる効率的なデータアノテーション手法を提案する。 さらに,視覚専門家による事前学習,教師付き微調整,直接選好最適化を含む3段階学習フレームワークであるHolmes Pipelineを提案する。
  論文  参考訳（メタデータ） (2025-07-03T14:26:31Z)
• FakeReasoning: Towards Generalizable Forgery Detection and Reasoning [24.8865218866598]
  フォージェリ検出・推論タスク(FDR-Task)としてのAI生成画像の検出と説明のモデル化を提案する。 10つの生成モデルにわたる100K画像を含む大規模データセットであるMulti-Modal Forgery Reasoning dataset (MMFR-Dataset)を紹介する。 また、FakeReasoningという2つの重要なコンポーネントを持つ偽検出および推論フレームワークも提案する。
  論文  参考訳（メタデータ） (2025-03-27T06:54:06Z)
• Zero-Shot Detection of AI-Generated Images [54.01282123570917]
  AI生成画像を検出するゼロショットエントロピー検出器(ZED)を提案する。 機械によるテキスト検出の最近の研究に触発された私たちのアイデアは、分析対象の画像が実際の画像のモデルと比較してどれだけ驚くかを測定することである。 ZEDは精度の点でSoTAよりも平均3%以上改善されている。
  論文  参考訳（メタデータ） (2024-09-24T08:46:13Z)
• Detecting the Undetectable: Combining Kolmogorov-Arnold Networks and MLP for AI-Generated Image Detection [0.0]
  本稿では,最先端な生成AIモデルによって生成された画像の堅牢な識別が可能な,新しい検出フレームワークを提案する。 従来の多層パーセプトロン(MLP)とセマンティックイメージ埋め込みを統合した分類システムを提案する。
  論文  参考訳（メタデータ） (2024-08-18T06:00:36Z)
• Improving Interpretability and Robustness for the Detection of AI-Generated Images [6.116075037154215]
  凍結したCLIP埋め込みに基づいて、既存の最先端AIGI検出手法を解析する。 さまざまなAIジェネレータが生成する画像が実際の画像とどのように異なるかを示す。
  論文  参考訳（メタデータ） (2024-06-21T10:33:09Z)
• RIGID: A Training-free and Model-Agnostic Framework for Robust AI-Generated Image Detection [60.960988614701414]
  RIGIDは、堅牢なAI生成画像検出のためのトレーニング不要でモデルに依存しない方法である。 RIGIDは、既存のトレーニングベースおよびトレーニング不要な検出器を著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-30T14:49:54Z)
• Visual Delta Generator with Large Multi-modal Models for Semi-supervised Composed Image Retrieval [50.72924579220149]
  Composed Image Retrieval (CIR)は、提供されるテキスト修正に基づいて、クエリに似たイメージを取得するタスクである。 現在の技術は、基準画像、テキスト、ターゲット画像のラベル付き三重項を用いたCIRモデルの教師あり学習に依存している。 本稿では,参照とその関連対象画像を補助データとして検索する半教師付きCIR手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T21:00:22Z)
• Mixture of Low-rank Experts for Transferable AI-Generated Image Detection [18.631006488565664]
  生成モデルは、最小限の専門知識を持つ写真リアリスティック画像の飛躍的な飛躍を見せ、オンライン情報の真正性に対する懸念を喚起している。 本研究の目的は,多様なソースからの画像を識別できる,汎用的なAI生成画像検出器を開発することである。 事前学習された視覚言語モデルのゼロショット転送性に着想を得て、未知の領域を一般化するために、CLIP-ViTの非自明な視覚世界知識と記述的習熟度を活用することを目指す。
  論文  参考訳（メタデータ） (2024-04-07T09:01:50Z)
• Bi-LORA: A Vision-Language Approach for Synthetic Image Detection [14.448350657613364]
  生成逆数ネットワーク(GAN)や拡散モデル(DM)のような深層画像合成技術は、非常に現実的な画像を生成する時代に定着してきた。 本稿では、視覚言語モデル(VLM)のゼロショット特性と相まって、視覚と言語の間の強力な収束能力から着想を得る。 我々は,VLMと低ランク適応(LORA)チューニング技術を組み合わせたBi-LORAと呼ばれる革新的な手法を導入し,未知のモデル生成画像に対する合成画像検出の精度を向上させる。
  論文  参考訳（メタデータ） (2024-04-02T13:54:22Z)
• Raising the Bar of AI-generated Image Detection with CLIP [50.345365081177555]
  本研究の目的は、AI生成画像の普遍的検出のための事前学習された視覚言語モデル(VLM)の可能性を探ることである。 我々は,CLIP機能に基づく軽量な検出戦略を開発し,その性能を様々な難易度シナリオで検証する。
  論文  参考訳（メタデータ） (2023-11-30T21:11:20Z)
• Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
  CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。 本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。 本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-04T07:26:24Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Multimodal Knowledge Alignment with Reinforcement Learning [103.68816413817372]
  ESPERは言語のみのゼロショットモデルを拡張して、画像や音声のキャプションといったマルチモーダルタスクを未確認にする。 我々の重要な新規性は、強化学習を使用することで、直接監督することなく、多モーダル入力を言語モデル世代に整列させることである。 実験の結果、ESPERはベースラインと様々なゼロショットタスクの事前作業より優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-25T10:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。