論文の概要: Evaluating the Evaluators: Diagnosing Large Multimodal Models for AI-Generated Image Assessment

• arxiv url: http://arxiv.org/abs/2609.37576v1
• Date: Tue, 29 Sep 2026 13:40:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.569887
• Title: Evaluating the Evaluators: Diagnosing Large Multimodal Models for AI-Generated Image Assessment
• Title（参考訳）: 評価器の評価:AI生成画像評価のための大規模マルチモーダルモデルの診断
• Abstract要約: 大規模マルチモーダルモデル (LMM) は評価指標としてますます採用されている。 既存のベンチマークでは、セマンティックな理解、品質の認識、そして孤立した状態での信頼性の識別が研究されている。 我々は、AI生成画像の評価器としてLMM能力を体系的に評価する総合ベンチマークであるSQUARE-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 75.44991095647211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid advancement of text-to-image (T2I) generation, robust evaluation becomes critical yet challenging, as traditional metrics fail to capture fine-grained alignment and generative artifacts. While large multimodal models (LMMs) are increasingly adopted as evaluators, existing benchmarks typically study semantic understanding, quality perception, and authenticity identification in isolation, while largely neglecting responsibility detection. This leaves a gap in unified and comprehensive validation. To bridge this gap, we introduce SQUARE-Bench, a comprehensive benchmark that systematically evaluates LMM capabilities as evaluators of AI-generated images across four aspects: Semantics, Quality, Authenticity, and Responsibility. SQUARE-Bench introduces a granular taxonomy of 38 sub-dimensions to evaluate nearly 10K AI-generated images sampled from 22 diverse models, ranging from legacy to state-of-the-art generators, complemented by over 3K real-world images. The images are annotated with curated question-answering pairs. Extensive experiments on 23 LMMs reveal that top proprietary models, such as Gemini-3-Pro, already outperform the individual human expert baseline. However, the performance gap between models remains significant, exhibiting notable disparities in fine-grained inference and domain-specific robustness. Beyond benchmarking, we conduct a proof-of-concept study of LMM-guided iterative editing, in which dimension-specific LMMs provide diagnostic feedback to fixed image editors. The resulting guided system yields selective improvements in semantics, authenticity, and responsibility, while exhibiting a consistent visual-quality trade-off. SQUARE-Bench can serve as both a diagnostic tool for characterizing LMM evaluator capabilities and studying their use in T2I generation refinement. The benchmark and dataset will be released upon publication.
• Abstract（参考訳）: テキスト・トゥ・イメージ(T2I)生成の急速な進歩により、従来のメトリクスが微粒なアライメントや生成アーティファクトを捉えるのに失敗するため、ロバストな評価は極めて難しいものとなる。 大規模マルチモーダルモデル(LMM)は評価指標としてますます採用されているが、既存のベンチマークでは、主に責任検出を無視しながら、セマンティックな理解、品質知覚、信頼性の識別について研究している。 これにより、統一的で包括的な検証のギャップが残される。 このギャップを埋めるために、私たちはSQUARE-Benchを紹介します。これは、セマンティックス、品質、認証、責任という4つの側面にわたるAI生成画像の評価として、LMM能力を体系的に評価する包括的なベンチマークです。 SQUARE-Bench氏は、レガシーから最先端のジェネレータまで、22のさまざまなモデルからサンプリングされた約10KのAI生成画像を評価するために、38のサブディメンジョンの粒度の分類を導入している。 画像は、キュレートされた質問回答ペアで注釈付けされる。 23のLMMに関する大規模な実験では、Gemini-3-Proのようなトッププロプライエタリなモデルが、すでに個々の専門家ベースラインを上回っていることが明らかになった。 しかし、モデル間の性能差は依然として顕著であり、細粒度推論とドメイン固有の堅牢性に顕著な相違が見られる。 ベンチマークの他に、私たちはLMM誘導反復編集の概念実証研究を行い、そこでは次元固有のLMMが固定画像エディターに診断フィードバックを提供する。 結果として導かれたシステムは、一貫した視覚的品質のトレードオフを示しながら、セマンティクス、信頼性、責任を選択的に改善する。 SQUARE-Benchは、LMM評価機能の特徴付けと、T2I世代の改良におけるそれらの利用を研究するための診断ツールとしても機能する。 ベンチマークとデータセットは公開時にリリースされる。

関連論文リスト

• DiffCap-Bench: A Comprehensive, Challenging, Robust Benchmark for Image Difference Captioning [26.88130913151649]
  画像差分キャプション(IDC)は、2つの画像の違いを正確に識別する言語記述を生成する。 DiffCap-Benchは10の異なるカテゴリをカバーする総合的なIDCベンチマークである。 また,人間の有意差分リストに基づくLCM-as-a-Judge評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-05-06T05:12:41Z)
• Q-REAL: Towards Realism and Plausibility Evaluation for AI-Generated Content [71.46991494014382]
  本稿では,AI生成画像におけるリアリズムと妥当性の詳細な評価のための新しいデータセットであるQ-Realを紹介する。 Q-Realは、人気のあるテキスト・ツー・イメージ・モデルによって生成される3,088のイメージで構成されている。 そこで本研究では,Q-Real Benchを2つの課題,すなわち判断と推論による根拠付けに基づいて評価する。
  論文  参考訳（メタデータ） (2025-11-21T02:43:17Z)
• M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment [65.3860007085689]
  M3-AGIQAは、AI生成画像のより人間らしく総合的な評価を可能にする包括的なフレームワークである。 モデル出力を人間の判断とより密接に整合させることで、M3-AGIQAは堅牢で解釈可能な品質スコアを提供する。
  論文  参考訳（メタデータ） (2025-02-21T03:05:45Z)
• A-Bench: Are LMMs Masters at Evaluating AI-generated Images? [78.3699767628502]
  A-Benchは、マルチモーダルモデル(LMM)がAI生成画像(AIGI)を評価するマスターであるかどうかを診断するために設計されたベンチマークである。 最終的に、16のテキスト・ツー・イメージモデルの2,864のAIGIがサンプリングされ、それぞれが人間の専門家によって注釈付けされた質問回答と組み合わせられ、18のLMMでテストされる。
  論文  参考訳（メタデータ） (2024-06-05T08:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。