論文の概要: Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams

• arxiv url: http://arxiv.org/abs/2608.12262v1
• Date: Wed, 12 Aug 2026 17:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.656774
• Title: Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams
• Title（参考訳）: ダイアグラム-MMU:科学ダイアグラムのマルチモーダルベンチマーク
• Abstract要約: 科学図解析と理解のためのMLLMの能力を評価するためのベンチマークを構築した。 ダイアグラム-MMUは6つの領域にわたる3.7kのキュレートダイアグラムと18.3kの人間による質問を特徴としている。 ワークスペースを書くのに共通する3つのタスク(ダイアグラムからコードへのパース、ダイアグラムからコードへの編集、ダイアグラムへの質問応答)でMLLMを評価する。
• 参考スコア（独自算出の注目度）: 53.28039059333946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have been growing the capability for scientific writing and collaboration. For example, OpenAI Prism is a free workspace for scientific writing and collaboration. One important feature in Prism is turning scientific diagrams directly into LaTeX TikZ code. In this paper, we build a benchmark, Diagram-MMU, a multi-modal benchmark designed to assess MLLMs' ability for scientific diagram parsing and understanding. Diagram-MMU features 3.7k curated diagrams and 18.3k human-validated questions across six domains. It evaluates MLLMs on three tasks common in vibe writing workspaces: diagram-to-code parsing, diagram-to-code editing, and diagram question answering, alongside agentic settings per task. The evaluation of 12 MLLMs reveals that diagram-to-code tasks are more challenging than diagram question answering: models can reason well over diagrams but struggle to parse and edit them, underscoring the need for methods to enhance MLLMs' capability in diagram-to-code generation. Under agentic settings, most models improve parsing and editing performance but degrade on question answering, while Claude-4.6 Opus consistently improves across all three tasks. Project Page: https://vi-ocean.github.io/projects/diagram-mmu.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、科学的な記述やコラボレーションの能力を高めている。 例えば、OpenAI Prismは科学的な執筆とコラボレーションのための無料のワークスペースである。 Prismの重要な特徴の1つは、科学図を直接LaTeX TikZコードに変換することである。 本稿では,MLLMの科学図解析・理解能力を評価するためのマルチモーダルベンチマークであるDiagram-MMUのベンチマークを構築した。 ダイアグラム-MMUは6つの領域にわたる3.7kのキュレートダイアグラムと18.3kの人間による質問を特徴としている。 ワークスペースを書くのに共通する3つのタスク(ダイアグラムからコードへのパース、ダイアグラムからコードへの編集、ダイアグラムへの質問応答)でMLLMを評価する。 12のMLLMの評価は、ダイアグラムからコードへのタスクは、ダイアグラムへの質問よりも難しいことを示している:モデルはダイアグラムよりもうまく推論できるが、解析と編集に苦労し、ダイアグラムからコードへの生成におけるMLLMの能力を高める方法の必要性を強調する。 エージェント設定では、ほとんどのモデルは構文解析と編集性能を改善するが、質問応答では劣化するが、Claude-4.6 Opusは3つのタスクすべてで一貫して改善されている。 Project Page: https://vi-ocean.github.io/projects/diagram-mmu.com

関連論文リスト

• Math-Vision Diagrams: A Comprehensive Benchmark for Evaluating LLM Mathematical Diagram Generation Capabilities [0.0]
  大規模言語モデル(LLM)を評価するために特別に設計された最初のベンチマークであるMath-Vision Diagramsを紹介する。 3040のうち2920枚の画像のサブセットを,本質的な視覚的コンテキストを持つ高品質な競合問題から選択する。 すべてのコード、データ、キュレーションパイプライン、評価スクリプトが完全にオープンソースになる。
  論文  参考訳（メタデータ） (2026-08-09T23:58:01Z)
• Unlocking UML Class Diagram Understanding in Vision Language Models [0.0]
  視覚言語モデル (VLM) は、写真と比較して、図に関する質問に答える際に遅れる。 本稿では,クラス図に基づく視覚的質問応答のベンチマークを提案する。 LoRAベースのファインチューンは、他の多くのベンチマークでQwen 3.5 27Bよりも容易に優れている。
  論文  参考訳（メタデータ） (2026-05-12T06:57:47Z)
• GraphCogent: Mitigating LLMs' Working Memory Constraints via Multi-Agent Collaboration in Complex Graph Understanding [13.356521655409422]
  大規模言語モデル(LLM)は、小規模なグラフ推論タスクでは有望な性能を示すが、複雑なクエリで現実のグラフを扱うと失敗する。 グラフ推論を特殊な認知プロセス(センス、バッファ、実行)に分解する協調エージェントフレームワークであるGraphCogentを提案する。
  論文  参考訳（メタデータ） (2025-08-17T14:28:38Z)
• Distill Visual Chart Reasoning Ability from LLMs to MLLMs [64.32993770646165]
  マルチモーダル大言語モデル(MLLM)における複雑なチャートQ&Aタスクの解決には高度な視覚的推論能力が必要である 我々は,LLMからMLLMへの視覚的推論能力を蒸留するための費用効率,効率,スケーラブルなデータ合成手法であるCode-as-Intermediary Translation (CIT)を提案する。 ReachQAは、MLLMの認識と推論能力を高めるために、3kの推論集約チャートと20kのQ&Aペアを含むデータセットである。
  論文  参考訳（メタデータ） (2024-10-24T14:50:42Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [70.03602551880526]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• MathVerse: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems? [99.0305256706604]
  MLLMの公平かつ詳細な評価のために設計された全周視覚数学ベンチマークであるMathVerseを紹介する。 我々は,2,612の高品位・多目的数学問題を,公開情報源の図を用いて慎重に収集する。 このアプローチにより、MathVerseは、数学的推論のためのビジュアルダイアグラムを、どの程度のMLLMが真に理解できるかを包括的に評価することができる。
  論文  参考訳（メタデータ） (2024-03-21T17:59:50Z)
• mPLUG-PaperOwl: Scientific Diagram Analysis with the Multimodal Large Language Model [73.38800189095173]
  本研究はマルチモーダルLLMのマルチモーダルダイアグラム解析機能を強化することに焦点を当てる。 高品質な論文のLatexソースファイルを解析することにより、マルチモーダルなダイアグラム理解データセットM-Paperを慎重に構築する。 M-Paperは、画像やラテックス符号のフォーマットの数字や表を含む、複数の科学的図の合同理解をサポートする最初のデータセットである。
  論文  参考訳（メタデータ） (2023-11-30T04:43:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。