論文の概要: Can Vision-Language Models Solve Visual Math Equations?

• arxiv url: http://arxiv.org/abs/2509.09013v1
• Date: Wed, 10 Sep 2025 21:16:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.156156
• Title: Can Vision-Language Models Solve Visual Math Equations?
• Title（参考訳）: 視覚言語モデルは視覚数学の方程式を解けるか?
• Authors: Monjoy Narayan Choudhury, Junling Wang, Yifan Hou, Mrinmaya Sachan,
• Abstract要約: 視覚言語モデルは、統合認識とシンボリック計算を必要とするタスクに苦労する。 タスクを係数カウントと変数認識に分解し、カウントが主要なボトルネックであることを示す。 方程式の複雑性が増加するにつれて、記号的推論自体が制限因子となる。
• 参考スコア（独自算出の注目度）: 49.63524525005989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite strong performance in visual understanding and language-based reasoning, Vision-Language Models (VLMs) struggle with tasks requiring integrated perception and symbolic computation. We study this limitation through visual equation solving, where mathematical equations are embedded in images, variables are represented by object icons, and coefficients must be inferred by counting. While VLMs perform well on textual equations, they fail on visually grounded counterparts. To understand this gap, we decompose the task into coefficient counting and variable recognition, and find that counting is the primary bottleneck, even when recognition is accurate. We also observe that composing recognition and reasoning introduces additional errors, highlighting challenges in multi-step visual reasoning. Finally, as equation complexity increases, symbolic reasoning itself becomes a limiting factor. These findings reveal key weaknesses in current VLMs and point toward future improvements in visually grounded mathematical reasoning.
• Abstract（参考訳）: 視覚的理解と言語に基づく推論のパフォーマンスは高いが、視覚言語モデル(VLM)は統合認識と記号計算を必要とするタスクに苦戦する。 我々はこの制限を視覚方程式の解法によって研究し、そこでは数式が画像に埋め込まれ、変数はオブジェクトアイコンで表現され、係数はカウントによって推論されなければならない。 VLMはテキスト方程式でよく機能するが、視覚的に接地された方程式では失敗する。 このギャップを理解するために,タスクを係数カウントと可変認識に分解し,認識が正確である場合でも,カウントが主要なボトルネックであることを確認した。 また、認識と推論が付加的なエラーを引き起こし、多段階の視覚的推論における課題を浮き彫りにする。 最後に、方程式の複雑性が増加するにつれて、記号的推論自体が制限因子となる。 これらの知見は、現在のVLMにおける重要な弱点と、視覚的に基底付けられた数学的推論の今後の改善に向けてのポイントを明らかにしている。

関連論文リスト

• Why Vision Language Models Struggle with Visual Arithmetic? Towards Enhanced Chart and Geometry Understanding [94.64781599202882]
  視覚言語モデル(VLM)はマルチモーダルタスクにおいて顕著な進歩を遂げた。 彼らはしばしば、オブジェクトのカウントや長さ比較のような一見単純な機能である視覚的算術に苦しむ。 我々は、ピアジェの認知発達理論に触発された新しいポストトレーニング戦略であるCogAlignを提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:54:49Z)
• Open Eyes, Then Reason: Fine-grained Visual Mathematical Understanding in MLLMs [62.875934732547435]
  現在の大言語モデル(MLLM)は、細かな視覚的理解を必要とする数学的問題解決のタスクでは性能が劣ることが多い。 本稿では,最先端MLLMの視覚的接地能力を評価し,視覚的接地精度と問題解決性能との間に有意な負の相関関係を示す。 本稿では,幾何学的地上視覚エンコーダと,階層型視覚特徴マップの寄与度を動的に調整する機能ルータを備えた新しいアプローチであるSVE-Mathを提案する。
  論文  参考訳（メタデータ） (2025-01-11T04:08:44Z)
• Do Vision-Language Models Really Understand Visual Language? [43.893398898373995]
  ダイアグラムは、複雑な概念とその関係をイメージとして表現した視覚言語の典型例である。 近年の研究では、LVLM(Large Vision-Language Models)が図を含む複雑な推論タスクに対処できることが示唆されている。 本稿では,LVLMのダイアグラム理解能力を評価するための総合的なテストスイートを開発する。
  論文  参考訳（メタデータ） (2024-09-30T19:45:11Z)
• Machine Number Sense: A Dataset of Visual Arithmetic Problems for Abstract and Relational Reasoning [95.18337034090648]
  文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。 これらの視覚的算術問題は幾何学的フィギュアの形をしている。 我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
  論文  参考訳（メタデータ） (2020-04-25T17:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。