論文の概要: VisioMath: Benchmarking Figure-based Mathematical Reasoning in LMMs

• arxiv url: http://arxiv.org/abs/2506.06727v1
• Date: Sat, 07 Jun 2025 09:24:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.45142
• Title: VisioMath: Benchmarking Figure-based Mathematical Reasoning in LMMs
• Title（参考訳）: VisioMath: LMMにおける図ベースの数学的推論のベンチマーク
• Authors: Can Li, Ting Zhang, Mei Wang, Hua Huang,
• Abstract要約: 大規模マルチモデル (LMM) は、様々な領域にまたがる顕著な問題解決能力を示している。 Mathは、画像ベースの回答選択を含むマルチモーダルコンテキストにおける数学的推論を評価するために設計されたベンチマークである。 Mathは8,070のイメージと1,800の複数選択の質問で構成されている。
• 参考スコア（独自算出の注目度）: 31.275220539010732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Multimodal Models (LMMs) have demonstrated remarkable problem-solving capabilities across various domains. However, their ability to perform mathematical reasoning when answer options are represented as images--an essential aspect of multi-image comprehension--remains underexplored. To bridge this gap, we introduce VisioMath, a benchmark designed to evaluate mathematical reasoning in multimodal contexts involving image-based answer choices. VisioMath comprises 8,070 images and 1,800 multiple-choice questions, where each answer option is an image, presenting unique challenges to existing LMMs. To the best of our knowledge, VisioMath is the first dataset specifically tailored for mathematical reasoning in image-based-option scenarios, where fine-grained distinctions between answer choices are critical for accurate problem-solving. We systematically evaluate state-of-the-art LMMs on VisioMath and find that even the most advanced models struggle with this task. Notably, GPT-4o achieves only 45.9% accuracy, underscoring the limitations of current models in reasoning over visually similar answer choices. By addressing a crucial gap in existing benchmarks, VisioMath establishes a rigorous testbed for future research, driving advancements in multimodal reasoning.
• Abstract（参考訳）: 大規模マルチモーダルモデル (LMM) は、様々な領域にまたがる顕著な問題解決能力を示している。 しかし、解答オプションが画像として表現されるときに数学的推論を行う能力は、マルチイメージ理解の本質的な側面である。 このギャップを埋めるために、画像ベースの回答選択を含むマルチモーダルコンテキストにおける数学的推論を評価するために設計されたベンチマークであるVisioMathを紹介する。 VisioMathは8,070のイメージと1,800の複数選択の質問で構成されており、各回答オプションはイメージであり、既存のLMMに固有の課題を提示する。 私たちの知る限りでは、VisioMathは画像ベースの選択シナリオにおける数学的推論に適した最初のデータセットです。 VisioMath上の最先端のLMMを体系的に評価し、最も高度なモデルでさえこの課題に苦しむことを発見した。 特に、GPT-4oは45.9%の精度しか達成せず、視覚的に類似した答えの選択を推し進める上で、現在のモデルの限界を過小評価している。 既存のベンチマークにおいて重要なギャップに対処することによって、VisioMathは将来の研究のための厳格なテストベッドを確立し、マルチモーダル推論の進歩を推進している。

関連論文リスト

• VideoMathQA: Benchmarking Mathematical Reasoning via Multimodal Understanding in Videos [89.39873803375498]
  VideoMathQAは、ビデオ上で時間的に拡張されたクロスモーダル推論を実行できるかどうかを評価するために設計されたベンチマークである。 ベンチマークは10種類の数学的領域にまたがっており、ビデオは10秒から1時間以上に及ぶ。 構造化された視覚的コンテンツを解釈し、指導的物語を理解し、視覚的、音声的、テキスト的モダリティにまたがる共同概念を理解するためのモデルが必要である。
  論文  参考訳（メタデータ） (2025-06-05T17:59:58Z)
• Benchmarking Multimodal Mathematical Reasoning with Explicit Visual Dependency [29.28977802424541]
  視覚的依存を明示するマルチモーダル数学的推論のためのベンチマークであるVCBENCHを紹介する。 VCBENCHには6つの認知領域に1,720の問題がある。 我々は、VCBENCH上で26の最先端LVLMを評価し、高い性能差を示し、トップモデルでさえ50%以上の精度を達成できなかった。
  論文  参考訳（メタデータ） (2025-04-24T06:16:38Z)
• The Role of Visual Modality in Multimodal Mathematical Reasoning: Challenges and Insights [26.85150689408895]
  既存のマルチモーダルな数学的モデルでは視覚情報を最小限に活用できることを示す。 これは、意図せずモデルに回答を誘導するテキスト情報と回答オプションの優位性に起因している。 先行モデルをテストする際、微妙な視覚的差異を検知できないことは、現在の視覚知覚能力の限界を示唆している。
  論文  参考訳（メタデータ） (2025-03-06T07:29:33Z)
• Open Eyes, Then Reason: Fine-grained Visual Mathematical Understanding in MLLMs [62.875934732547435]
  現在の大言語モデル(MLLM)は、細かな視覚的理解を必要とする数学的問題解決のタスクでは性能が劣ることが多い。 本稿では,最先端MLLMの視覚的接地能力を評価し,視覚的接地精度と問題解決性能との間に有意な負の相関関係を示す。 本稿では,幾何学的地上視覚エンコーダと,階層型視覚特徴マップの寄与度を動的に調整する機能ルータを備えた新しいアプローチであるSVE-Mathを提案する。
  論文  参考訳（メタデータ） (2025-01-11T04:08:44Z)
• MultiMath: Bridging Visual and Mathematical Reasoning for Large Language Models [14.274813480249161]
  数学と視覚のギャップを埋める大きな言語モデルである textbfMultiMath-7B を導入する。 textbfMultiMath-7Bは4段階のプロセスで訓練され、視覚言語アライメント、視覚と数学の指導チューニング、プロセス教師付き強化学習に重点を置いている。 また,画像キャプションとステップワイズによるK-12レベルにまたがる新しい多モード数学的データセット,textbfMultiMath-300Kを構築した。
  論文  参考訳（メタデータ） (2024-08-30T07:37:38Z)
• Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models [62.815222721144636]
  我々は、LLaVA-1.5ベースのMathV360Kで微調整されたモデルであるMath-LLaVAを紹介する。 この手法はLLaVA-1.5のマルチモーダル数学的推論能力を著しく改善する。 Math-LLaVAは、MMMUベンチマークで大幅に改善された一般化性を示している。
  論文  参考訳（メタデータ） (2024-06-25T05:43:21Z)
• MathVerse: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems? [99.0305256706604]
  MLLMの公平かつ詳細な評価のために設計された全周視覚数学ベンチマークであるMathVerseを紹介する。 我々は,2,612の高品位・多目的数学問題を,公開情報源の図を用いて慎重に収集する。 このアプローチにより、MathVerseは、数学的推論のためのビジュアルダイアグラムを、どの程度のMLLMが真に理解できるかを包括的に評価することができる。
  論文  参考訳（メタデータ） (2024-03-21T17:59:50Z)
• Measuring Multimodal Mathematical Reasoning with MATH-Vision Dataset [33.65525875690291]
  実数競合から得られる視覚的コンテキストを持つ3,040個の高品質な数学問題の集合であるMATH-Visionデータセットを提示する。 広汎な実験により,MATH-Vにおける現在のLMMと人的性能の顕著な差が明らかになった。 我々の詳細な分類は、LMMの完全なエラー分析を可能にし、将来の研究開発のガイドとなる貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-22T18:56:38Z)
• MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts [170.01089233942594]
  MathVistaは、様々な数学的タスクと視覚的タスクの課題を組み合わせるために設計されたベンチマークである。 最高のパフォーマンスのGPT-4Vモデルは全体の49.9%の精度を達成し、第2位のパフォーマーであるBardを15.1%上回った。 GPT-4Vは、複雑な数字を理解し、厳格な推論を行うのに苦戦しているため、人間のパフォーマンスが10.4%下がったままである。
  論文  参考訳（メタデータ） (2023-10-03T17:57:24Z)
• Machine Number Sense: A Dataset of Visual Arithmetic Problems for Abstract and Relational Reasoning [95.18337034090648]
  文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。 これらの視覚的算術問題は幾何学的フィギュアの形をしている。 我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
  論文  参考訳（メタデータ） (2020-04-25T17:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。