論文の概要: VisualWorldBench: A Fine-Grained Multi-Task Benchmark for Evaluating Visual World Knowledge in MLLMs

• arxiv url: http://arxiv.org/abs/2610.20083v1
• Date: Wed, 14 Oct 2026 12:20:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.136947
• Title: VisualWorldBench: A Fine-Grained Multi-Task Benchmark for Evaluating Visual World Knowledge in MLLMs
• Title（参考訳）: VisualWorldBench:MLLMのビジュアルワールド知識を評価するための細粒度マルチタスクベンチマーク
• Abstract要約: ビジュアルワールドナレッジはマルチモーダル大言語モデル(MLLM)のコア機能である 既存のベンチマークは、少数のドメインにまたがる少数のカテゴリに限られており、現実世界のビジュアルエンティティのオープンなスケールには程遠い。 これは8つの視覚領域にまたがる21,291の葉ノードクラスの階層的な分類に基づくマルチタスクベンチマークである。
• 参考スコア（独自算出の注目度）: 10.385472366436789
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Visual world knowledge is a core capability of multimodal large language models (MLLMs), underpinning knowledge-intensive visual question answering and fine-grained visual reasoning. However, existing benchmarks remain limited in two key respects. First, their category coverage is narrow: most benchmarks span only a small number of categories across a few domains, falling far short of the open-ended scale of real-world visual entities. Second, their task construction is often insufficiently rigorous: models can answer correctly using coarse-grained cues, vague associations, or elimination strategies without truly mastering precise concepts, making it difficult to accurately assess their knowledge of fine-grained entities. We introduce VisualWorldBench, a taxonomy-grounded multi-task benchmark built on a hierarchical taxonomy of 21,291 leaf-node classes across 8 visual domains, with 32,541 evaluation instances whose ground-truth labels cover 15,479 categories across four complementary tasks: closed-set recognition, contrastive selection, precise localization, and open-world naming, covering different directions of knowledge retrieval and varying degrees of answer openness to comprehensively evaluate visual world knowledge. Most questions are constructed from taxonomically proximate categories, forcing precise discrimination among fine-grained entities. Experiments reveal that the strongest closed-source model achieves only 80.4% average accuracy, exposing capability gaps hidden under conventional benchmarks. We further construct VisualWorldBench-50K, a training resource covering 50K+ categories. Fine-tuning on VisualWorldBench-50K yields over 21 percentage points improvement on VisualWorldBench, with consistent transfer to public fine-grained recognition and visual knowledge benchmarks.
• Abstract（参考訳）: ビジュアルワールド・ナレッジ(Visual World Knowledge)は、知識集約的な視覚的質問応答ときめ細かい視覚的推論を基盤とする、マルチモーダルな大規模言語モデル(MLLM)の中核的な能力である。 しかし、既存のベンチマークは2つの重要な点で制限されている。 まず、そのカテゴリのカバレッジは狭く、ほとんどのベンチマークは少数のドメインにまたがる少数のカテゴリにしか及ばず、現実世界のビジュアルエンティティのオープンなスケールには程遠い。 モデルでは、厳密な概念を真に習得することなく、粗粒度、曖昧な関連性、あるいは排除戦略を用いて正しく答えることができるため、きめ細かい実体の知識を正確に評価することは困難である。 我々は,8つの視覚領域にまたがる21,291の葉ノードクラスを階層的に分類したマルチタスクベンチマークであるVisualWorldBenchを紹介した。その評価例は,4つの相補的タスク – クローズセット認識,コントラスト選択,精密なローカライゼーション,オープンワールド命名 – にまたがる15,479のカテゴリをカバーする。 ほとんどの質問は、分類学的に近縁なカテゴリーから構築され、きめ細かい実体の正確な識別を迫られる。 実験の結果、最強のクローズドソースモデルは80.4%の精度しか達成せず、従来のベンチマークの下に隠された能力ギャップが露呈していることがわかった。 さらに、50K以上のカテゴリをカバーするトレーニングリソースであるVisualWorldBench-50Kを構築します。 VisualWorldBench-50Kの微調整は、VisualWorldBenchの21パーセント以上の改善をもたらし、パブリックな微粒化認識とビジュアル知識ベンチマークへの一貫した移行を実現している。

関連論文リスト

• WorldBench: A Challenging and Visually Diverse Multimodal Reasoning Benchmark [85.74548332724977]
  複数のドメインにまたがって数千の視覚概念の分類を構築します。 我々はフロンティアMLLMが答えられない挑戦的な質問を手動で設計する。 WorldBenchは、既存のさまざまなベンチマークよりも高い視覚的多様性を実現している。
  論文  参考訳（メタデータ） (2026-06-04T01:11:21Z)
• Towards Fine-Grained Recognition with Large Visual Language Models: Benchmark and Optimization Strategies [33.23137293090961]
  GPT-4o を用いた LVLM の詳細な評価を目的としたファイン粒度認識オープンワールド (FROW) ベンチマークを提案する。 私たちのデータセットには、複数の短問合せ応答と、現実世界の質問や回答から生成されるオープンワールドデータを組み合わせたモザイクデータが含まれています。 実験により、モザイクデータはカテゴリ認識の精度を1%向上し、オープンワールドデータはFROWベンチマークの精度を10%から20%向上させることが示された。
  論文  参考訳（メタデータ） (2025-12-11T07:48:34Z)
• Generalized Fine-Grained Category Discovery with Multi-Granularity Conceptual Experts [81.68203255687051]
  Generalized Category Discoveryは、部分的にラベル付けされたカテゴリの知識を活用することでラベル付けされていないデータをクラスタリングする、オープンワールドな問題である。 既存のアプローチでは、視覚データにおいて複数の粒度の概念情報を活用できない。 精度の高いカテゴリ発見のための多粒度知識を統合した多粒度エキスパートフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-30T13:25:11Z)
• Vocabulary-free Fine-grained Visual Recognition via Enriched Contextually Grounded Vision-Language Model [52.01031460230826]
  伝統的なアプローチは固定語彙と閉集合分類パラダイムに大きく依存している。 近年の研究では、大規模言語モデルと視覚言語モデル(VLM)を組み合わせることで、オープンセット認識が可能であることが実証されている。 そこで本研究では,精密な視覚認識のための最先端の手法であるEnriched-FineRを提案する。
  論文  参考訳（メタデータ） (2025-07-30T20:06:01Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• OCRBench v2: An Improved Benchmark for Evaluating Large Multimodal Models on Visual Text Localization and Reasoning [72.57452266982642]
  OCRBench v2は、大規模なバイリンガルテキスト中心のベンチマークである。 さまざまなシナリオ31、人間検証された質問回答ペア1万、詳細な評価指標をカバーしている。 LMMのスコアは50未満(合計100点)で、5種類の制限に悩まされている。
  論文  参考訳（メタデータ） (2024-12-31T07:32:35Z)
• Open Long-Tailed Recognition in a Dynamic World [82.91025831618545]
  実世界のデータは、しばしば長い尾を持ち、(目に見えないクラスを持つ)オープンな分布を示す。 現実的な認識システムは、多数派(頭)クラスと少数派(尾)クラスの間でバランスを取り、分布を一般化し、見知らぬクラス(オープンクラス)のインスタンスで新規性を認める必要がある。 我々は,Open Long-Tailed Recognition++を,このような自然分布データからの学習として定義し,バランスの取れたテストセット上での分類精度を最適化する。
  論文  参考訳（メタデータ） (2022-08-17T15:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。