論文の概要: OmniMapBench: Benchmarking Visual-Centric Reasoning on Diverse Map Documents

• arxiv url: http://arxiv.org/abs/2607.09068v1
• Date: Fri, 10 Jul 2026 03:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.772953
• Title: OmniMapBench: Benchmarking Visual-Centric Reasoning on Diverse Map Documents
• Title（参考訳）: OmniMapBench: 分散マップドキュメントのビジュアル中心推論のベンチマーク
• Abstract要約: LVLMの最近の進歩は、複雑な視覚的根拠を持つ推論のための堅牢なベンチマークを必要とする。 この制限に対処するため、OmniMapBenchは、マップドキュメントの視覚中心の推論を促進するために導入された。 このベンチマークは、9つのカテゴリから1,603の地図文書に2,096の注釈付き質問応答ペアを手動で作成する。
• 参考スコア（独自算出の注目度）: 34.58999637034811
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in LVLMs necessitate robust benchmarks for complex, visually grounded reasoning. A critical limitation is identified in many document understanding benchmarks: visual content is often reducible to text, enabling high performance without genuine visual grounding. To address this limitation, OmniMapBench is introduced to foster visual-centric reasoning for map documents. The benchmark comprises 2,096 manually annotated question-answer pairs across 1,603 map documents from nine categories. It is designed to probe a hierarchy of skills, ranging from perception to multi-step visual reasoning. To quantify benchmark properties, a simple yet effective benchmark-level metric is proposed: the Visual Dependency Index (VDI), defined as the accuracy drop when images are replaced with question-agnostic descriptions. OmniMapBench exhibits higher VDI than established benchmarks, which quantitatively validates its focus on irreducible visual reasoning. Comprehensive evaluations of 25 leading LVLMs are conducted on OmniMapBench. A significant performance gap is observed, with the top-performing model achieving only 75.03\% accuracy. This result underscores the challenges posed by OmniMapBench to current LVLMs. This work aims to catalyze progress in visual-centric reasoning for document understanding of LVLMs. The dataset and code are publicly available at https://github.com/SIGMME/OmniMapBench.
• Abstract（参考訳）: LVLMの最近の進歩は、複雑な視覚的根拠を持つ推論のための堅牢なベンチマークを必要とする。 多くの文書理解ベンチマークでは、重要な制限が特定されている: ビジュアルコンテンツは、しばしばテキストに再現可能であり、真のビジュアルグラウンドを使わずにハイパフォーマンスを実現する。 この制限に対処するため、OmniMapBenchは、マップドキュメントの視覚中心の推論を促進するために導入された。 このベンチマークは、9つのカテゴリから1,603の地図文書に2,096の注釈付き質問応答ペアを手動で作成する。 知覚から多段階の視覚的推論まで、スキル階層を探索するように設計されている。 VDI(Visual Dependency Index)は、画像が疑問に依存しない記述に置き換えられたときの精度低下として定義される。 OmniMapBenchは、既存のベンチマークよりも高いVDIを示し、既約の視覚的推論へのフォーカスを定量的に検証している。 OmniMapBench上で25個のLVLMの総合評価を行った。 顕著なパフォーマンスギャップが観察され、トップパフォーマンスモデルは75.03\%の精度しか達成できなかった。 この結果は、OmniMapBenchが現在のLVLMにもたらす課題を浮き彫りにする。 本研究の目的は,LVLMの文書理解のための視覚中心推論の進歩を触媒することである。 データセットとコードはhttps://github.com/SIGMME/OmniMapBench.comで公開されている。

関連論文リスト

• GamiBench: Evaluating Spatial Reasoning and 2D-to-3D Planning Capabilities of MLLMs with Origami Folding Tasks [2.037026133182214]
  本稿では,大言語モデル(MLLM)における空間的推論を評価するベンチマークであるGamiBenchを紹介する。 GamiBenchには、186の正規かつ不可能な2Dクリーゼパターンと、対応する3D折りたたみ形状が組み合わされている。 GamiBenchは、クロスビュー整合性の測定、不可能な折りたたみ検出による物理的実現性、中間的な折りたたみステップの解釈など、すべての推論プロセスを評価している。
  論文  参考訳（メタデータ） (2025-12-22T01:07:59Z)
• Visually Prompted Benchmarks Are Surprisingly Fragile [82.98001690512461]
  VLMを評価する上で重要な課題は、視覚コンテンツをテキストから独立して分析する能力をテストすることである。 ビジュアルマーカーの設計やデータセットサイズなど,ベンチマーク設定の詳細が,モデルパフォーマンスやリーダボードのランキングに大きく影響していることを実証する。 この不安定性を軽減するため、既存のデータセットをキュレートして16のビジュアルマーカーのバリエーションを備えた、より大きな視覚的にトリガーされたベンチマークであるVPBenchを作成します。
  論文  参考訳（メタデータ） (2025-12-19T18:26:58Z)
• CartoMapQA: A Fundamental Benchmark Dataset Evaluating Vision-Language Models on Cartographic Map Understanding [5.925837407110905]
  カルトマップQA(CartoMapQA)は、視覚言語モデルによる地図の理解を評価するためのベンチマークである。 データセットには2000以上のサンプルが含まれており、それぞれが地図地図、質問(オープンエンドまたは複数選択の回答)、接地真実の回答で構成されている。
  論文  参考訳（メタデータ） (2025-12-03T08:25:22Z)
• Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
  TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。 TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
  論文  参考訳（メタデータ） (2025-07-10T17:59:58Z)
• Can MLLMs Guide Me Home? A Benchmark Study on Fine-Grained Visual Reasoning from Transit Maps [56.76175383189738]
  MLLMの詳細な視覚的理解と空間的推論能力を評価するためのベンチマークであるReasonMapを紹介する。 ReasonMapには、13か国30都市からの高解像度のトランジットマップが含まれており、2つの質問タイプと3つのテンプレートにまたがる1008の質問応答ペアが含まれている。 基本および推論変種を含む15種類のMLLMの包括的評価は、直感的パターンを示す。
  論文  参考訳（メタデータ） (2025-05-24T12:33:52Z)
• Are Multimodal Large Language Models Ready for Omnidirectional Spatial Reasoning? [66.88619941063048]
  MLLM(Multimodal large language model)は全方向空間推論に対応しているのか? OSR-Benchはこの設定のために特別に設計された最初のベンチマークである。 高忠実度パノラマ屋内シーンマップには、153,000以上の多様な質問応答ペアが含まれている。 GPT-4o, Gemini 1.5 Proを含む8つの最先端MLLMを評価し, ゼロショット設定で主要なオープンソースモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-17T08:48:40Z)
• Can Large Vision Language Models Read Maps Like a Human? [16.81757312518894]
  MapBenchは1600ピクセル以上の空間マップパスで構成されており、100の多様なマップから問題を見つけることができる。 MapBenchでは、LVLMはマップイメージと開始と終了のランドマークを持つクエリを与えられた言語ベースのナビゲーション命令を生成する。 我々はMapBenchがゼロショットプロンプトとCoT(Chain-of-Thought)拡張推論フレームワークの両方において最先端のLVLMに大きく挑戦していることを実証した。
  論文  参考訳（メタデータ） (2025-03-18T18:05:38Z)
• ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models [79.90955995669158]
  大型マルチモーダルモデル(LMM)は、画像の解釈において大きな欠点を示し、いくつかの手段によっては、小さな子供や動物よりも空間認知が劣っている。 我々は,現代フロンティアLMMでは不可能な,軽量な視覚推論ベンチマークであるZeroBenchを紹介する。 ZeroBench 上で 20 LMM の評価を行い,そのスコアは 0.0% であり,誤差を厳密に分析した。
  論文  参考訳（メタデータ） (2025-02-13T18:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。