論文の概要: VAMPS: Visual-Assisted Mathematical Problem Solving Benchmark

• arxiv url: http://arxiv.org/abs/2606.04244v1
• Date: Tue, 02 Jun 2026 21:45:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.398032
• Title: VAMPS: Visual-Assisted Mathematical Problem Solving Benchmark
• Title（参考訳）: VAMPS: ベンチマークの解決を視覚的に支援する数学的問題
• Authors: Amirhossein Dabiriaghdam, Shayan Vassef, Mohammadreza Bakhtiari, Yasamin Medghalchi, Ilker Hacihaliloglu, Mesrob Ohannessian, Lele Wang, Giuseppe Carenini,
• Abstract要約: VAMPSはグラフ支援数学のベンチマークである。 モデルが有用なグラフを構築し、その結果の視覚化でその答えを土台にできるかどうかをテストする。 全体として、さまざまなモデルの集合において、直接解析的解決は驚くほどツール対応の視覚的解決よりも優れていることが分かりました。
• 参考スコア（独自算出の注目度）: 14.470324922341211
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal large language models are increasingly capable of complex reasoning, yet their performance often degrades when they must externalize a problem through a tool and then reason over the tool's output, specifically when they rely on visual aids. This gap is especially important because real engineering and scientific workflows often rely on visualization tools for analysis, validation, and decision-making. To study this discrepancy, we introduce VAMPS (Visual-Assisted Mathematical Problem Solving), a benchmark for graph-assisted mathematics. VAMPS contains 1,168 multimodal, bilingual multiple-choice question-answer pairs drawn from Iranian University Entrance Exam algebra and calculus problems and expanded with human-reviewed LLM-generated synthetic variants, all selected so that plotting provides a natural solution strategy by revealing intersections, extrema, asymptotes, etc. Designed for both benchmarking and diagnosis, VAMPS goes beyond prior multimodal benchmarks that primarily evaluate reasoning over fixed visual inputs by testing whether a model can benefit from constructing a useful graph and grounding its answer in the resulting visualization. Overall, we found that across a diverse set of models, direct analytical solving surprisingly outperforms tool-enabled visual solving, even on problems where plotting is a natural strategy.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルは複雑な推論を行う能力がますます高まっているが、ツールを通じて問題を外部化し、ツールのアウトプット、特に視覚的補助に依存した場合には、その性能は劣化することが多い。 実際のエンジニアリングと科学のワークフローは、しばしば分析、検証、意思決定の可視化ツールに依存しているため、このギャップは特に重要である。 グラフ支援数学のベンチマークであるVAMPS(Visual-Assisted Mathematical Problem Solving)を導入する。 VAMPSには1,168のマルチモーダルでバイリンガルな質問-回答対が含まれており、イランのエントランス・エクサム代数と計算問題から引き起こされ、人間によってレビューされたLLM生成の合成変種によって拡張され、プロットが交差点、エクストリーム、アスジャンプトートなどを明らかにすることで自然な解決戦略を提供するように選択されている。 ベンチマークと診断の両方のために設計されたVAMPSは、主に固定された視覚的入力に対する推論を評価する、以前のマルチモーダルベンチマークを超えて、モデルが有用なグラフを構築し、その結果の可視化にその答えを根拠付けることができるかどうかをテストする。 全体としては、プロットが自然な戦略である問題であっても、さまざまなモデルにおいて、直接解析的解決は驚くほどツール対応の視覚的解決よりも優れていることが分かりました。

関連論文リスト

• VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration [2.7403985180660784]
  視覚言語モデル(VLM)は、同じ問題がテキストではなく画像として提示される場合、数学的推論においてテキストのみの言語モデルより遅れる。 本稿では、与えられた数学問題を(画像として)自然言語の有理数に分解することで、構造化された問題解決を可能にするツール統合推論フレームワークであるVisTIRAを紹介する。 ツール統合監視により画像ベース推論が向上し,OCRグラウンド化により,より小さなモデルのギャップをさらに狭めることができることを示す。
  論文  参考訳（メタデータ） (2026-01-20T19:54:49Z)
• More Images, More Problems? A Controlled Analysis of VLM Failure Modes [80.64323947730905]
  大規模視覚言語モデル (LVLM) は目覚ましい能力を示しているが、複数の画像に対する理解と推論の能力は未解明のままである。 LVLMのマルチイメージ能力を厳格に評価する新しいベンチマークMIMICを紹介する。
  論文  参考訳（メタデータ） (2026-01-12T18:45:13Z)
• The Role of Visual Modality in Multimodal Mathematical Reasoning: Challenges and Insights [26.85150689408895]
  既存のマルチモーダルな数学的モデルでは視覚情報を最小限に活用できることを示す。 これは、意図せずモデルに回答を誘導するテキスト情報と回答オプションの優位性に起因している。 先行モデルをテストする際、微妙な視覚的差異を検知できないことは、現在の視覚知覚能力の限界を示唆している。
  論文  参考訳（メタデータ） (2025-03-06T07:29:33Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Open Eyes, Then Reason: Fine-grained Visual Mathematical Understanding in MLLMs [62.875934732547435]
  現在の大言語モデル(MLLM)は、細かな視覚的理解を必要とする数学的問題解決のタスクでは性能が劣ることが多い。 本稿では,最先端MLLMの視覚的接地能力を評価し,視覚的接地精度と問題解決性能との間に有意な負の相関関係を示す。 本稿では,幾何学的地上視覚エンコーダと,階層型視覚特徴マップの寄与度を動的に調整する機能ルータを備えた新しいアプローチであるSVE-Mathを提案する。
  論文  参考訳（メタデータ） (2025-01-11T04:08:44Z)
• VisAidMath: Benchmarking Visual-Aided Mathematical Reasoning [47.81337826098964]
  本稿では,視覚情報に関連する問題解決プロセスを評価するためのベンチマークであるVisAidMathを紹介する。 このベンチマークには、様々な数学分野の難解な問題、視覚支援の定式化、難易度などが含まれる。 視覚支援推論プロセスにおいて,10種類のLLMとLMMを用いて評価を行い,その欠点を強調した。
  論文  参考訳（メタデータ） (2024-10-30T13:19:44Z)
• Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
  MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。 本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• CogCoM: A Visual Language Model with Chain-of-Manipulations Reasoning [61.21923643289266]
  カオス・オブ・マニピュレーション(Chain of Manipulations)は、視覚言語モデル(Vision-Language Models)が、エビデンスを段階的に解決するメカニズムである。 トレーニング後、モデルは外部ツールを介さずに、本質的な操作(グラウンド、ズームインなど)を積極的に行うことで、様々な視覚的問題を解決することができる。 トレーニングされたモデルである textbfCogCoM は、4つのカテゴリの9つのベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-02-06T18:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。