論文の概要: Math-Vision Diagrams: A Comprehensive Benchmark for Evaluating LLM Mathematical Diagram Generation Capabilities
- arxiv url: http://arxiv.org/abs/2608.08964v1
- Date: Sun, 09 Aug 2026 23:58:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.021142
- Title: Math-Vision Diagrams: A Comprehensive Benchmark for Evaluating LLM Mathematical Diagram Generation Capabilities
- Title（参考訳）: 数学図形:LLM数学的図形生成能力評価のための総合ベンチマーク
- Abstract要約: 大規模言語モデル(LLM)を評価するために特別に設計された最初のベンチマークであるMath-Vision Diagramsを紹介する。
3040のうち2920枚の画像のサブセットを,本質的な視覚的コンテキストを持つ高品質な競合問題から選択する。
すべてのコード、データ、キュレーションパイプライン、評価スクリプトが完全にオープンソースになる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The generation of mathematically precise diagrams from tex- tual prompts has emerged as a critical yet underexplored capability of Large Language Models (LLMs). This has been of interest to researchers in the areas of curriculum preparation, automated ranking of problem sets, and scientific publishing. For LLMs to achieve this, it requires per- fect coordination between Spatial Reasoning, Mathematical Reasoning, and Rendering systems. While existing benchmarks such as MathVision, MathVista are built for Math Reasoning or DiagramGenBenchmark, Mer- maidSeqBench on general purpose diagram generation, no prior work provides a standardized set of prompt, image pairs that can be used to evaluate the LLMs specifically on math diagram generation. This includes fields that span both both text-to-code and text-to-image paradigms. We introduce Math-Vision Diagrams, the first benchmark specifically designed to evaluate LLMs on mathematical diagram generation, and the first to assess text-to-code and text-to-image generation paradigms together in a single unified setting, agnostic of the underlying coding lan- guage or model type. Building on the Math-Vision benchmark, we select a subset of 2920 images out of 3040 from high-quality competition problems with essential visual context. A novel pipeline combining an ensemble of LLMs with Subject Matter Expert (SME) curation is presented, together with a suite of evaluation metrics. Testing several leading models against this benchmark, we demonstrate that LLMs struggle with math diagram generation. All code, data, curation pipeline, and evaluation scripts will be fully open-sourced.
- Abstract（参考訳）: tex-tual プロンプトから数学的に正確な図を生成することは、Large Language Models (LLMs) の批判的かつ未発見の機能として現れている。
これは、カリキュラムの準備、問題集合の自動ランク付け、科学出版の分野の研究者にとって関心が寄せられている。
LLMがこれを達成するためには、空間推論、数学的推論、レンダリングシステム間の影響調整が必要である。
MathVision や MathVista といった既存のベンチマークは、Math Reasoning や DiagramGenBenchmark や Mer- maidSeqBench といった汎用ダイアグラム生成用に構築されているが、事前の作業では、算術ダイアグラム生成に特化して LLM を評価するために使用できるプロンプト、イメージペアの標準化されたセットは提供されていない。
これには、テキスト・ツー・コードとテキスト・ツー・イメージのパラダイムの両方にまたがるフィールドが含まれる。
数学図生成におけるLCMの評価に特化して設計された最初のベンチマークであるMath-Vision Diagramsを導入し、基礎となる符号化ランゲージやモデルタイプに依存しない単一の統一設定において、テキスト・ツー・コードおよびテキスト・ツー・イメージ生成パラダイムを併用して評価する。
また,Math-Visionベンチマークをベースとして,本質的な視覚的コンテキストを持つ高品質な競合問題から,3040点中2920点の画像のサブセットを選択する。
LLMのアンサンブルとSME(Subject Matter Expert)のキュレーションを組み合わせた新しいパイプラインを,評価指標とともに提示する。
このベンチマークに対していくつかの主要なモデルをテストすると、LLMが数学図生成に苦戦していることが示される。
すべてのコード、データ、キュレーションパイプライン、評価スクリプトが完全にオープンソースになる。
関連論文リスト
- SABER-Math: Automated Benchmark for Information Retrieval Evaluation in Mathematics [4.685475117723465]
専門家のアノテーションを使わずに数理IRを評価するための,最初の完全自動ベンチマークであるSABER-Mathを紹介する。
SABER-Mathは283Kのハイスクールレベルの数学問題から始まり、3つのステップでタスクのランク付けに挑戦する。
我々は、語彙検索器、特殊数式検索システム、最近の埋め込みモデルを評価する。
論文 参考訳（メタデータ） (2026-06-29T07:32:50Z) - CodePlot-CoT: Mathematical Visual Reasoning by Thinking with Code-Driven Images [69.93976232543066]
本稿では,コード駆動型Chain-of-ThoughtパラダイムであるCodePlot-CoTを提案する。
そこで我々はまず,視覚推論を用いた数学問題のための大規模バイリンガルデータセットとベンチマークであるMath-VRを構築した。
我々のモデルは,提案したコード駆動推論パラダイムの有効性を十分に検証し,ベースモデルよりも最大で21%向上する。
論文 参考訳（メタデータ） (2025-10-13T17:59:55Z) - MathOPEval: A Fine-grained Evaluation Benchmark for Visual Operations of MLLMs in Mathematical Reasoning [66.35003870737727]
有望なアプローチでは、中間表現としてコードを使用し、推論ステップで画像を正確に表現し、操作する。
既存の評価はテキストのみの推論出力に重点を置いており、MLLMはコードによる正確な視覚操作をほとんど探索されていないままにしている。
この研究は、マルチモーダル数学的推論におけるMLLMのコードベース能力を評価することによって、そのギャップに対処する第一歩を踏み出した。
論文 参考訳（メタデータ） (2025-07-24T07:03:11Z) - Rubric Is All You Need: Enhancing LLM-based Code Evaluation With Question-Specific Rubrics [1.3707925738322797]
本稿では,専門家評価に対する評価厳密度を定量化するLeniencyと呼ばれる新しい指標を提案する。
包括的分析により,学習環境におけるコードの論理的評価が著しく向上することが確認された。
論文 参考訳（メタデータ） (2025-03-31T11:59:43Z) - Open Eyes, Then Reason: Fine-grained Visual Mathematical Understanding in MLLMs [62.875934732547435]
現在の大言語モデル(MLLM)は、細かな視覚的理解を必要とする数学的問題解決のタスクでは性能が劣ることが多い。
本稿では,最先端MLLMの視覚的接地能力を評価し,視覚的接地精度と問題解決性能との間に有意な負の相関関係を示す。
本稿では,幾何学的地上視覚エンコーダと,階層型視覚特徴マップの寄与度を動的に調整する機能ルータを備えた新しいアプローチであるSVE-Mathを提案する。
論文 参考訳（メタデータ） (2025-01-11T04:08:44Z) - Distill Visual Chart Reasoning Ability from LLMs to MLLMs [64.32993770646165]
マルチモーダル大言語モデル(MLLM)における複雑なチャートQ&Aタスクの解決には高度な視覚的推論能力が必要である
我々は,LLMからMLLMへの視覚的推論能力を蒸留するための費用効率,効率,スケーラブルなデータ合成手法であるCode-as-Intermediary Translation (CIT)を提案する。
ReachQAは、MLLMの認識と推論能力を高めるために、3kの推論集約チャートと20kのQ&Aペアを含むデータセットである。
論文 参考訳（メタデータ） (2024-10-24T14:50:42Z) - How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。
我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。
私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
論文 参考訳（メタデータ） (2024-10-04T04:48:33Z) - MAVIS: Mathematical Visual Instruction Tuning with an Automatic Data Engine [85.80851893886161]
MLLMのための数学的なVISual命令チューニングパイプラインであるMAVISを提案する。
我々はMAVIS-Captionを用いて、図形視覚符号化の改善に適したコントラスト学習により、数学固有の視覚エンコーダ(CLIP-Math)を微調整する。
第3に、ロバストな問題解決スキルの指導チューニングを行うためにMAVIS-Instructを採用し、結果のモデルをMAVIS-7Bと呼ぶ。
論文 参考訳（メタデータ） (2024-07-11T17:59:47Z) - MathVerse: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems? [99.0305256706604]
MLLMの公平かつ詳細な評価のために設計された全周視覚数学ベンチマークであるMathVerseを紹介する。
我々は,2,612の高品位・多目的数学問題を,公開情報源の図を用いて慎重に収集する。
このアプローチにより、MathVerseは、数学的推論のためのビジュアルダイアグラムを、どの程度のMLLMが真に理解できるかを包括的に評価することができる。
論文 参考訳（メタデータ） (2024-03-21T17:59:50Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳（メタデータ） (2023-10-09T07:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。