論文の概要: HumanSightBench: A Benchmark for Human Visual Perception in MLLMs
- arxiv url: http://arxiv.org/abs/2611.12305v2
- Date: Wed, 11 Nov 2026 10:19:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.887114
- Title: HumanSightBench: A Benchmark for Human Visual Perception in MLLMs
- Title(参考訳): HumanSightBench:MLLMにおける人間の視覚知覚のベンチマーク
- Abstract要約: HumanSightBenchには、2,876の視覚的質問があり、7つのトップレベルの知覚カテゴリーと21のサブカテゴリにまたがる短い回答がある。
質問の明瞭度、答えの独特性、視覚的接地、人間の解決可能性、テキストのみのショートカットフィルタリングの5つに過ぎません。
最高のパス@3スコアは、評価された8つのMLLMの65.6%である。
- 参考スコア(独自算出の注目度): 17.69097377943633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) have demonstrated strong performance on knowledge-intensive and reasoning-based vision-language benchmark datasets, but still struggle to solve the visual questions that people can solve easily. Evaluating the differences between MLLMs and human-level visual perception is challenging due to end-to-end evaluation which combines various skills, or because we are uncertain if individual items are valid. Specifically, observed errors may reflect visual perception, language priors, background knowledge, question ambiguity, and underspecified answers. Our guideline for HumanSightBench is that we construct items that are human-easy by construction and model-hard by evaluation. HumanSightBench contains 2,876 visual questions with short answers across 7 top-level perceptual categories and 21 subcategories. We only include items that pass five inclusion gates: question clarity, answer uniqueness, visual grounding, human solvability, and text-only shortcut filtering. According to the protocol, errors are defined as incorrect answers on human-validated visual tasks with the evaluated interface. The inclusion gates are intended to reduce confounds from ambiguity and external knowledge. The best pass@3 score is 65.6% across eight evaluated MLLMs. No evaluated model exceeds 27.5% on Counting. These results identify capability gaps that are hidden by overall scores and can help future training experiments and held-out evaluation.
- Abstract(参考訳): MLLM(Multimodal large language model)は、知識集約型および推論ベースの視覚言語ベンチマークデータセットにおいて強力なパフォーマンスを示しているが、人々が容易に解決できる視覚的問題の解決に苦慮している。
MLLMと人間レベルの視覚的知覚の違いを評価することは、様々なスキルを組み合わせたエンドツーエンド評価や、個々の項目が有効かどうか不確かであるため、困難である。
具体的には、観察されたエラーは、視覚的知覚、言語先行、背景知識、質問のあいまいさ、未特定回答を反映する可能性がある。
提案するHumanSightBenchのガイドラインは,構築が簡単で,評価がモデルハードな項目を構築することである。
HumanSightBenchには、2,876の視覚的質問があり、7つのトップレベルの知覚カテゴリーと21のサブカテゴリにまたがる短い回答がある。
質問の明瞭度、答えの独特性、視覚的接地、人間の解決可能性、テキストのみのショートカットフィルタリングの5つに過ぎません。
プロトコルによれば、エラーは評価されたインタフェースで人間の検証された視覚的タスクに対する誤った答えとして定義される。
包含ゲートは曖昧さと外的知識から欠点を減らすことを意図している。
最高のパス@3スコアは8つの評価MLLMで65.6%である。
評価モデルは27.5%を超えない。
これらの結果は、全体的なスコアによって隠された能力ギャップを特定し、将来のトレーニング実験やホールドアウト評価に役立つ。
関連論文リスト
- Human-MME: A Holistic Evaluation Benchmark for Human-Centric Multimodal Large Language Models [118.44328586173556]
MLLM(Multimodal Large Language Models)は視覚的理解タスクにおいて大きな進歩を見せている。
Human-MMEは、人間中心のシーン理解におけるMLLMのより総合的な評価を提供するために設計された、キュレートされたベンチマークである。
我々のベンチマークは、単一対象の理解を多対多の相互理解に拡張する。
論文 参考訳(メタデータ) (2025-09-30T12:20:57Z) - Do You See Me : A Multidimensional Benchmark for Evaluating Visual Perception in Multimodal LLMs [9.951669153984708]
Do You See Me"は,1,758のイメージと2,612の質問を備えた,スケーラブルなベンチマークである。
人間は96.49%の精度を達成し、トップMLLMは50%以下である。
これは、真に堅牢な視覚知覚を持つMLLMに対して、緊急の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-05-28T13:31:32Z) - Can MLLMs Guide Me Home? A Benchmark Study on Fine-Grained Visual Reasoning from Transit Maps [56.76175383189738]
MLLMの詳細な視覚的理解と空間的推論能力を評価するためのベンチマークであるReasonMapを紹介する。
ReasonMapには、13か国30都市からの高解像度のトランジットマップが含まれており、2つの質問タイプと3つのテンプレートにまたがる1008の質問応答ペアが含まれている。
基本および推論変種を含む15種類のMLLMの包括的評価は、直感的パターンを示す。
論文 参考訳(メタデータ) (2025-05-24T12:33:52Z) - VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。
これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。
ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
論文 参考訳(メタデータ) (2025-04-21T17:59:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。