論文の概要: What do MLLMs know about 'Waldo'? Evaluating Visual Reasoning under Multi-Instance Multi-Object Challenges

• arxiv url: http://arxiv.org/abs/2610.38957v1
• Date: Wed, 28 Oct 2026 21:40:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 08:13:53.726313
• Title: What do MLLMs know about 'Waldo'? Evaluating Visual Reasoning under Multi-Instance Multi-Object Challenges
• Title（参考訳）: MLLMは「ワルド」について何を知っているか?マルチインスタンス・マルチオブジェクト・チャレンジによる視覚的推論の評価
• Abstract要約: マルチオブジェクトカテゴリ設定毎にMLLMを評価するベンチマークを導入する。 MIMO-Benchは3,802枚の画像検索ペアで構成されている。 既存のベンチマークで顕著な性能を示したにもかかわらず、SOTAオープンソース(InternVL, QwenVL)とプロプライエタリ(Gemini, GPT-5)の両方ではかなり低い性能を示した。
• 参考スコア（独自算出の注目度）: 38.21243963251113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Multimodal Large Language Models (MLLMs) have led to significant progress in visual reasoning capabilities. However, existing benchmarks curate image-question pairs pertaining to object categories with few instances, enabling trivial object referencing and limited visual ambiguity. In this work, we introduce MIMO-Bench, a benchmark for evaluating MLLMs in a Multi-Instance per Multi-Object categories (MIMO) setting. Each image-question pair in our benchmark pertains to instances belonging to object categories with multiple instances. The presence of such similar feature distractors causes hindrance in basic visual reasoning tasks, necessitating the referring expression to be composed of multiple visual subtasks to uniquely and unambiguously identify the target object. MIMO-Bench comprises 3,802 image-question pairs across attribute binding and numerical counting tasks. Despite impressive performances on existing benchmarks, both SOTA open-source (InternVL, QwenVL) and proprietary (Gemini, GPT-5) models exhibit substantially lower performance on MIMO-Bench, highlighting their limitations in the MIMO setting. The benchmark will be made publicly available.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の最近の進歩は、視覚的推論能力に大きな進歩をもたらした。 しかし、既存のベンチマークでは、オブジェクトカテゴリに関連するイメージ検索ペアを少数のインスタンスでキュレートし、自明なオブジェクト参照と限られた視覚的あいまいさを可能にしている。 本研究では,Multi-Instance per Multi-Object category (MIMO) 設定でMLLMを評価するベンチマークであるMIMO-Benchを紹介する。 ベンチマークでは、各画像検索ペアは、複数のインスタンスを持つオブジェクトカテゴリに属するインスタンスに関連付けられています。 このような特徴的障害の存在は、基本的な視覚的推論タスクに障害を生じさせ、参照表現を複数の視覚的サブタスクから構成し、対象のオブジェクトをユニークかつ曖昧に識別する必要がある。 MIMO-Benchは属性バインディングと数値カウントタスクにまたがる3,802のイメージ検索ペアで構成されている。 既存のベンチマークで顕著な性能を示したにもかかわらず、SOTAオープンソース(InternVL, QwenVL)とプロプライエタリ(Gemini, GPT-5)モデルはMIMO-Bench上ではかなり低い性能を示し、MIMO設定における制限を強調した。 ベンチマークは一般公開される予定だ。

関連論文リスト

• Analyzing and Boosting the Power of Fine-Grained Visual Recognition for Multi-modal Large Language Models [31.34575955517015]
  Finedeficsは、トレーニングフェーズにオブジェクトの情報属性記述を組み込むことで、モデルのFGVR能力を向上するMLLMである。 我々は、オブジェクト-属性対と属性-カテゴリ対を同時に比較学習し、類似しているが誤ったカテゴリの例をハードネガティブとして利用する。 複数の人気のあるFGVRデータセットに対する広範囲な評価は、Finedeficsが既存のMLLMを同等のパラメータサイズで上回っていることを示している。
  論文  参考訳（メタデータ） (2025-01-25T08:52:43Z)
• MOSABench: Multi-Object Sentiment Analysis Benchmark for Evaluating Multimodal Large Language Models Understanding of Complex Image [16.040813949620958]
  マルチオブジェクト感情分析に特化して設計された新しい評価データセットMOSABenchを紹介する。 MOSABenchの主なイノベーションは、距離ベースのターゲットアノテーション、出力を標準化するための評価のための後処理、改良されたスコアリング機構である。 本研究は、複雑な多目的感情分析タスクにおける精度を高めるためのMLLMの必要性を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2024-11-25T09:00:36Z)
• MIBench: Evaluating Multimodal Large Language Models over Multiple Images [70.44423964171088]
  マルチイメージシナリオにおけるMLLMの微粒化能力を包括的に評価する新しいベンチマークMIBenchを提案する。 具体的には、MIBenchはマルチモーダル・インコンテクスト・ラーニング(MIC)とマルチモーダル・インコンテクスト・ラーニング(MIC)の3つのシナリオに分類する。 その結果、現在のモデルでは単一画像のタスクが優れているが、複数画像の入力に直面すると大きな欠点が現れることがわかった。
  論文  参考訳（メタデータ） (2024-07-21T21:22:58Z)
• Task Me Anything [72.810309406219]
  本稿では,ユーザのニーズに合わせたベンチマークを作成する。 113Kイメージ、10Kビデオ、2Kの3Dオブジェクトアセット、365以上のオブジェクトカテゴリ、655の属性、335の関係がある。 750万のイメージ/ビデオ問合せペアを生成することが可能で、知覚能力の評価に重点を置いている。
  論文  参考訳（メタデータ） (2024-06-17T17:32:42Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。