論文の概要: HoloCount: A Holistic Visual Counting Benchmark for MLLMs
- arxiv url: http://arxiv.org/abs/2607.06420v1
- Date: Tue, 07 Jul 2026 15:48:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.578971
- Title: HoloCount: A Holistic Visual Counting Benchmark for MLLMs
- Title（参考訳）: HoloCount: MLLMのためのホロスティックなビジュアルカウントベンチマーク
- Abstract要約: HoloCountは診断的にリッチなベンチマークで、3階層の階層分類に基づいて構成されている。
我々は20以上の最先端マルチモーダル言語モデル(MLLM)を評価する。
我々の発見は、より基礎的で信頼性の高いマルチモーダルシステムを開発するためのロードマップを提供する。
- 参考スコア（独自算出の注目度）: 17.08907754405721
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual counting is a fundamental pillar of multimodal intelligence, requiring a seamless integration of fine-grained grounding and spatial reasoning. While Multimodal Large Language Models (MLLMs) have achieved remarkable success in qualitative scene understanding, their quantitative precision remains a significant bottleneck, often characterized by persistent numerical hallucinations. Existing counting benchmarks primarily focus on basic perception in simplified contexts, failing to capture the complex failure modes that emerge under logical constraints or adversarial conditions. To address these limitations, we introduce HoloCount, a holistic and diagnostically rich benchmark structured around a three-level hierarchical taxonomy. HoloCount evaluates MLLMs across: (1) Semantic Counting, focusing on atomic and property-based enumeration; (2) Analytical Counting, assessing logical composition through spatial and set-based reasoning; and (3) Robustness Testing, probing model integrity against adverse scenarios and grounded counter-priors, such as high-density scenes and linguistic biases. Through an exhaustive evaluation of over 20 state-of-the-art MLLMs, we reveal a critical performance gap: even top-tier models degrade significantly as tasks transition from perception to complex analytical reasoning and adverse scenarios. Our findings provide a systematic landscape of current MLLM counting capabilities and offer a roadmap for developing more grounded and reliable multimodal systems. The dataset is available at https://mm-mvr.github.io/HoloCount/.
- Abstract（参考訳）: ビジュアルカウントはマルチモーダルインテリジェンスの基本柱であり、きめ細かい接地と空間的推論をシームレスに統合する必要がある。
MLLM(Multimodal Large Language Models)は、定性的なシーン理解において顕著な成功を収めているが、その定量的精度は、しばしば持続的な数値幻覚によって特徴づけられる重要なボトルネックである。
既存のカウントベンチマークは主に単純化されたコンテキストにおける基本的な認識に焦点を当てており、論理的制約や逆境条件の下で現れる複雑な障害モードをキャプチャできない。
これらの制限に対処するために,三階層階層分類を中心に構築された総合的かつ診断的にリッチなベンチマークであるHoloCountを紹介した。
HoloCountは,(1)原子的および特性的列挙に着目した意味的数え上げ,(2)空間的および集合的推論による論理的構成の評価,(3)ロバストネステスト,有害シナリオに対するモデル整合性の検証,および高密度シーンや言語的バイアスなどの反プライヤの接地など,MLLMを横断的に評価する。
トップ層モデルでさえ、タスクが知覚から複雑な分析的推論や悪いシナリオに遷移するにつれて、大幅に劣化する。
本研究は,現在のMLLMカウント機能を体系的に把握し,より基礎的で信頼性の高いマルチモーダルシステムを開発するためのロードマップを提供する。
データセットはhttps://mm-mvr.github.io/HoloCount/で公開されている。
関連論文リスト
- Count Anything at Any Granularity [55.70950689938894]
KubriCountは、これまでで最大で、最も包括的な注釈付きカウントデータセットである。
テキストと視覚的特徴を相補的なターゲット仕様として併用する多粒カウントモデルを訓練する。
HieraCountは、マルチグラデーションカウントの精度を大幅に改善し、現実のシナリオに対して堅牢に一般化する。
論文 参考訳（メタデータ） (2026-05-11T17:32:37Z) - Seek-and-Solve: Benchmarking MLLMs for Visual Clue-Driven Reasoning in Daily Scenarios [56.703500104126014]
DailyClueは、日々のシナリオで視覚的な手がかり駆動推論のために設計されたベンチマークである。
本研究は,(1) 日常活動の厳格化,(2) 問合せ設計の課題,という2つの基本原則で導かれる。
本分析は,視覚的手がかりの正確な同定が堅牢な推論に不可欠であることを強調し,いくつかの重要な知見を明らかにした。
論文 参考訳（メタデータ） (2026-04-15T16:22:10Z) - TableVision: A Large-Scale Benchmark for Spatially Grounded Reasoning over Complex Hierarchical Tables [13.218805579902048]
タスクの複雑さが拡大するにつれて、関連する離散的な視覚領域の数が不均等に増加することが分かる。
この処理密度は内部の"知覚的過負荷"につながる
本研究では,空間的推論のためのトラジェクトリ・アウェア・ベンチマークであるTableVisionを紹介する。
論文 参考訳（メタデータ） (2026-04-04T09:26:09Z) - Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting [59.37613121962146]
本稿では,クラスに依存しないオブジェクトカウントのためのMLLM駆動型弱教師付きフレームワークWS-COCを提案する。
WS-COCは、多くの最先端の完全に管理されたメソッドと一致し、また、アノテーションのコストを大幅に削減します。
論文 参考訳（メタデータ） (2026-02-13T09:58:35Z) - seqBench: A Tunable Benchmark to Quantify Sequential Reasoning Limits of LLMs [1.0519693622157462]
我々は,Large Language Models (LLMs) における逐次推論限界を探索するベンチマークであるseqBenchを紹介する。
検索の複雑さが最小限であるにもかかわらず、セクベンチの構造的推論タスクでは、トップパフォーマンスモデルでさえ体系的に失敗することがわかった。
論文 参考訳（メタデータ） (2025-09-21T01:32:13Z) - CountQA: How Well Do MLLMs Count in the Wild? [1.0799568216202955]
MLLM(Multimodal Large Language Models)は、視覚シーンの理解において顕著な急激さを示す。
それらは、基本的な認知スキル、すなわちオブジェクトのカウントに欠如している。
この盲点は、現実世界のアプリケーションにおける信頼性を著しく制限します。
この欠損を調査するために設計された、挑戦的な新しいベンチマークであるCountQAを紹介します。
論文 参考訳（メタデータ） (2025-08-08T04:23:04Z) - SpatialViz-Bench: An MLLM Benchmark for Spatial Visualization [44.427830927596204]
SpaceViz-Benchは4つのサブ能力にまたがる12のタスクを持つ空間視覚化のための総合的なベンチマークである。
33種類の最先端MLLMを評価した結果,多彩な性能の変動がみられ,反直感的な結果が得られた。
論文 参考訳（メタデータ） (2025-07-10T10:27:20Z) - SpatialScore: Towards Unified Evaluation for Multimodal Spatial Understanding [64.15606979785355]
マルチモーダル大規模言語モデル(MLLM)は,質問応答タスクにおいて顕著な成功を収めているが,空間的理解能力は乏しい。
既存のMLLMは3次元空間認識と理解能力を持っているか?
論文 参考訳（メタデータ） (2025-05-22T17:59:03Z) - VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。
本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。
我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
論文 参考訳（メタデータ） (2025-02-25T23:36:19Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳（メタデータ） (2023-11-28T05:53:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。