論文の概要: MM-CRITIC: A Holistic Evaluation of Large Multimodal Models as Multimodal Critique

• arxiv url: http://arxiv.org/abs/2511.09067v1
• Date: Thu, 13 Nov 2025 01:30:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.393459
• Title: MM-CRITIC: A Holistic Evaluation of Large Multimodal Models as Multimodal Critique
• Title（参考訳）: MM-CRITIC:Multimodal Critiqueとしての大規模マルチモーダルモデルの全体的評価
• Authors: Gailun Zeng, Ziyang Luo, Hongzhan Lin, Yuchen Tian, Kaixin Li, Ziyang Gong, Jianxiong Guo, Jing Ma,
• Abstract要約: 複数の次元にわたるLMMの批評能力を評価するための総合的なベンチマークであるMM-CRITICを導入する。 MM-CRITICはモデルサイズが異なる様々なLMMから応答を収集し、4471のサンプルで構成されている。 評価信頼性を高めるため,専門家インフォームドグラウンドの回答をGPT-4oのアノテート応答を誘導するスコアリングルーリックに統合した。
• 参考スコア（独自算出の注目度）: 23.270725216274688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability of critique is vital for models to self-improve and serve as reliable AI assistants. While extensively studied in language-only settings, multimodal critique of Large Multimodal Models (LMMs) remains underexplored despite their growing capabilities in tasks like captioning and visual reasoning. In this work, we introduce MM-CRITIC, a holistic benchmark for evaluating the critique ability of LMMs across multiple dimensions: basic, correction, and comparison. Covering 8 main task types and over 500 tasks, MM-CRITIC collects responses from various LMMs with different model sizes and is composed of 4471 samples. To enhance the evaluation reliability, we integrate expert-informed ground answers into scoring rubrics that guide GPT-4o in annotating responses and generating reference critiques, which serve as anchors for trustworthy judgments. Extensive experiments validate the effectiveness of MM-CRITIC and provide a comprehensive assessment of leading LMMs' critique capabilities under multiple dimensions. Further analysis reveals some key insights, including the correlation between response quality and critique, and varying critique difficulty across evaluation dimensions. Our code is available at https://github.com/MichealZeng0420/MM-Critic.
• Abstract（参考訳）: モデルが自己改善し、信頼できるAIアシスタントとして機能する上で、批判の能力は不可欠である。 言語のみの設定において広く研究されているが、キャプションや視覚的推論といったタスクにおいて、LMM(Large Multimodal Models)のマルチモーダル批判は、その能力が増大しているにもかかわらず、まだ探索されていない。 本研究では,多次元にわたるLMMの批判的能力を評価するための総合的なベンチマークであるMM-CRITICを紹介する。 8つのタスクタイプと500以上のタスクをカバーするMM-CRITICは、モデルサイズが異なる様々なLMMから応答を収集し、4471のサンプルで構成されている。 評価信頼性を高めるため,専門家インフォームドグラウンドの回答を,GPT-4oのアノテート反応を誘導し,信頼に値する判断のアンカーとして機能する基準批判を生成するために,スコアリングルーリックに統合した。 MM-CRITICの有効性を検証し,複数次元のLMMの批判的能力を総合的に評価した。 さらなる分析は、応答品質と批判の相関、評価次元の異なる批判難度など、いくつかの重要な洞察を明らかにしている。 私たちのコードはhttps://github.com/MichealZeng0420/MM-Criticで利用可能です。

関連論文リスト

• MME-CoT: Benchmarking Chain-of-Thought in Large Multimodal Models for Reasoning Quality, Robustness, and Efficiency [63.23935582919081]
  CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。 我々は,LMMのCoT推論性能を評価する特別ベンチマークであるMME-CoTを紹介する。 我々は最先端のLMMの詳細な分析を行い、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2025-02-13T18:59:46Z)
• CriticEval: Evaluating Large Language Model as Critic [110.29766259843453]
  CriticEvalは、大規模言語モデルの批判能力を包括的かつ確実に評価するように設計された、新しいベンチマークである。 包括性を確保するため、CriticalEvalは9つの異なるタスクシナリオの4次元から批判能力を評価する。 信頼性を確保するため、多数の批判が注釈付けされ、参照として機能する。
  論文  参考訳（メタデータ） (2024-02-21T12:38:59Z)
• MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities [153.37868034779385]
  複雑なマルチモーダルタスクにおける大規模マルチモーダルモデル(LMM)を評価する評価ベンチマークであるMM-Vetを提案する。 近年のLMMは、黒板に書かれた数学の問題を解くこと、ニュース画像の出来事や有名人を推論すること、視覚的ジョークを説明することなど、様々な興味深い能力を示している。
  論文  参考訳（メタデータ） (2023-08-04T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。