論文の概要: AIGI-Holmes: Towards Explainable and Generalizable AI-Generated Image Detection via Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2507.02664v1
• Date: Thu, 03 Jul 2025 14:26:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:16.391532
• Title: AIGI-Holmes: Towards Explainable and Generalizable AI-Generated Image Detection via Multimodal Large Language Models
• Title（参考訳）: AIGI-Holmes:マルチモーダル大言語モデルによる説明可能で一般化可能なAI生成画像検出を目指して
• Authors: Ziyin Zhou, Yunpeng Luo, Yuanchen Wu, Ke Sun, Jiayi Ji, Ke Yan, Shouhong Ding, Xiaoshuai Sun, Yunsheng Wu, Rongrong Ji,
• Abstract要約: AI生成コンテンツ(AIGC)の急速な発展は、誤情報を拡散するAIGIの誤用につながった。 大規模で包括的なデータセットであるHolmes-Setを導入し、画像がAI生成されているかどうかを解説したインストラクションチューニングデータセットを含む。 本研究は,MLLMの構造化説明と品質管理によるデータ生成を効率化する,Multi-Expert Juryと呼ばれる効率的なデータアノテーション手法を提案する。 さらに,視覚専門家による事前学習,教師付き微調整,直接選好最適化を含む3段階学習フレームワークであるHolmes Pipelineを提案する。
• 参考スコア（独自算出の注目度）: 78.08374249341514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of AI-generated content (AIGC) technology has led to the misuse of highly realistic AI-generated images (AIGI) in spreading misinformation, posing a threat to public information security. Although existing AIGI detection techniques are generally effective, they face two issues: 1) a lack of human-verifiable explanations, and 2) a lack of generalization in the latest generation technology. To address these issues, we introduce a large-scale and comprehensive dataset, Holmes-Set, which includes the Holmes-SFTSet, an instruction-tuning dataset with explanations on whether images are AI-generated, and the Holmes-DPOSet, a human-aligned preference dataset. Our work introduces an efficient data annotation method called the Multi-Expert Jury, enhancing data generation through structured MLLM explanations and quality control via cross-model evaluation, expert defect filtering, and human preference modification. In addition, we propose Holmes Pipeline, a meticulously designed three-stage training framework comprising visual expert pre-training, supervised fine-tuning, and direct preference optimization. Holmes Pipeline adapts multimodal large language models (MLLMs) for AIGI detection while generating human-verifiable and human-aligned explanations, ultimately yielding our model AIGI-Holmes. During the inference stage, we introduce a collaborative decoding strategy that integrates the model perception of the visual expert with the semantic reasoning of MLLMs, further enhancing the generalization capabilities. Extensive experiments on three benchmarks validate the effectiveness of our AIGI-Holmes.
• Abstract（参考訳）: AI生成コンテンツ(AIGC)技術の急速な発展は、偽情報の拡散において、高度に現実的なAI生成画像(AIGI)の誤用を招き、公共情報セキュリティへの脅威となっている。 既存のAIGI検出技術は一般的に有効であるが、2つの問題に直面している。 1)人間検証可能な説明の欠如 2)最新技術における一般化の欠如。 これらの問題に対処するために、Holmes-SFTSetを含む大規模かつ包括的なHolmes-Set、画像がAI生成されているかどうかを解説したインストラクションチューニングデータセット、Holmes-DPOSet、ヒューマンアラインな嗜好データセットであるHolmes-DPOSetを紹介する。 本研究は,MLLMによる構造的説明によるデータ生成と,クロスモデル評価,専門家欠陥フィルタリング,人為的嗜好修正による品質管理を効率化する,Multi-Expert Juryと呼ばれる効率的なデータアノテーション手法を提案する。 さらに,視覚専門家による事前学習,教師付き微調整,直接選好最適化を含む3段階学習フレームワークであるHolmes Pipelineを提案する。 Holmes PipelineはAIGI検出のためのマルチモーダルな大規模言語モデル(MLLM)に適応し、人間による検証と人間によるアラインな説明を生成し、最終的に私たちのモデルであるAIGI-Holmesを生み出します。 推論段階では、視覚専門家のモデル認識とMLLMの意味的推論を統合し、さらに一般化能力を向上する協調的復号戦略を導入する。 3つのベンチマークによる大規模な実験により、AIGI-Holmesの有効性が検証された。

関連論文リスト

• Quality Assessment and Distortion-aware Saliency Prediction for AI-Generated Omnidirectional Images [70.49595920462579]
  本研究は,AIGODIの品質評価と歪みを考慮したサリエンシ予測問題について検討する。 BLIP-2モデルに基づく共有エンコーダを用いた2つのモデルを提案する。
  論文  参考訳（メタデータ） (2025-06-27T05:36:04Z)
• Interpretable and Reliable Detection of AI-Generated Images via Grounded Reasoning in MLLMs [43.08776932101172]
  私たちは、バウンディングボックスと記述キャプションを付加したAI生成画像のデータセットを構築します。 次に、多段階最適化戦略によりMLLMを微調整する。 得られたモデルは、AI生成画像の検出と視覚的欠陥のローカライズの両方において、優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-06-08T08:47:44Z)
• OmniAD: Detect and Understand Industrial Anomaly via Multimodal Reasoning [76.90511414963265]
  我々は,微粒化解析のための異常検出と理解を統一するフレームワークであるOmniADを紹介した。 ビジュアル推論は、Text-as-Maskを活用することで詳細なインスペクションを提供する。 Visual Guided Textual Reasoningは、視覚知覚を統合することで包括的な分析を行う。
  論文  参考訳（メタデータ） (2025-05-28T07:02:15Z)
• A Comprehensive Framework for Semantic Similarity Analysis of Human and AI-Generated Text Using Transformer Architectures and Ensemble Techniques [40.704014941800594]
  従来の手法では、人間と機械が生成したコンテンツ間の微妙な意味的差異を捉えられなかった。 本稿では,DeBERTa-v3-largeモデル,双方向LSTM,線形アテンションプールを併用して,局所的および大域的セマンティックパターンを抽出する手法を提案する。 実験の結果,本手法は従来の手法よりも有効であり,AIによるテキスト検出や他のテキスト比較タスクの有用性が証明された。
  論文  参考訳（メタデータ） (2025-01-24T07:07:37Z)
• Generative Artificial Intelligence Meets Synthetic Aperture Radar: A Survey [49.29751866761522]
  本稿では,GenAIとSARの交差点について検討する。 まず、SAR分野における一般的なデータ生成ベースのアプリケーションについて説明する。 次に、最新のGenAIモデルの概要を体系的にレビューする。 最後に、SARドメインの対応するアプリケーションも含まれる。
  論文  参考訳（メタデータ） (2024-11-05T03:06:00Z)
• XEdgeAI: A Human-centered Industrial Inspection Framework with Data-centric Explainable Edge AI Approach [2.0209172586699173]
  本稿では,新しいXAI統合視覚品質検査フレームワークを提案する。 我々のフレームワークはXAIとLarge Vision Language Modelを組み込んで人間中心の解釈可能性を提供する。 このアプローチは、重要な産業アプリケーションに信頼性と解釈可能なAIツールを広く採用する道を開くものだ。
  論文  参考訳（メタデータ） (2024-07-16T14:30:24Z)
• LAMBO: Large AI Model Empowered Edge Intelligence [71.56135386994119]
  次世代エッジインテリジェンスは、オフロード技術を通じて様々なアプリケーションに恩恵をもたらすことが期待されている。 従来のオフロードアーキテクチャは、不均一な制約、部分的な認識、不確実な一般化、トラクタビリティの欠如など、いくつかの問題に直面している。 我々は、これらの問題を解決するための10億以上のパラメータを持つLarge AI Model-Based Offloading (LAMBO)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:25:42Z)
• IM-IAD: Industrial Image Anomaly Detection Benchmark in Manufacturing [88.35145788575348]
  画像異常検出(英: Image Anomaly Detection、IAD)は、産業用コンピュータビジョンの課題である。 統一IMベンチマークの欠如は、現実世界のアプリケーションにおけるIADメソッドの開発と利用を妨げる。 7つの主要なデータセットに19のアルゴリズムを含む包括的画像異常検出ベンチマーク(IM-IAD)を構築した。
  論文  参考訳（メタデータ） (2023-01-31T01:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。