論文の概要: MV-MATH: Evaluating Multimodal Math Reasoning in Multi-Visual Contexts

• arxiv url: http://arxiv.org/abs/2502.20808v3
• Date: Tue, 18 Mar 2025 14:02:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:12:27.915480
• Title: MV-MATH: Evaluating Multimodal Math Reasoning in Multi-Visual Contexts
• Title（参考訳）: MV-MATH:マルチビジュアルコンテキストにおけるマルチモーダル数学推論の評価
• Authors: Peijie Wang, Zhong-Zhi Li, Fei Yin, Dekang Ran, Cheng-Lin Liu,
• Abstract要約: MV-MATHは,2,009の高次数問題からなる厳密にキュレートされたデータセットである。 それぞれの問題は、K-12シナリオから派生したテキストでインターリーブされた複数の画像を統合し、詳細なアノテーションで富む。 MV-MATHには、複数の選択、自由形式、多段階の質問が含まれており、3つの困難レベルにわたる11の主題領域をカバーしている。 我々は,マルチ視覚数学におけるMLLMの課題が,MV-MATH上での人間の能力に比較してかなりの性能差があることを観察した。
• 参考スコア（独自算出の注目度）: 33.57257303306699
• License:
• Abstract: Multimodal Large Language Models (MLLMs) have shown promising capabilities in mathematical reasoning within visual contexts across various datasets. However, most existing multimodal math benchmarks are limited to single-visual contexts, which diverges from the multi-visual scenarios commonly encountered in real-world mathematical applications. To address this gap, we introduce MV-MATH: a meticulously curated dataset of 2,009 high-quality mathematical problems. Each problem integrates multiple images interleaved with text, derived from authentic K-12 scenarios, and enriched with detailed annotations. MV-MATH includes multiple-choice, free-form, and multi-step questions, covering 11 subject areas across 3 difficulty levels, and serves as a comprehensive and rigorous benchmark for assessing MLLMs' mathematical reasoning in multi-visual contexts. Through extensive experimentation, we observe that MLLMs encounter substantial challenges in multi-visual math tasks, with a considerable performance gap relative to human capabilities on MV-MATH. Furthermore, we analyze the performance and error patterns of various models, providing insights into MLLMs' mathematical reasoning capabilities within multi-visual settings.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、様々なデータセットの視覚的文脈における数学的推論において有望な能力を示す。 しかし、既存の多くのマルチモーダル数学ベンチマークは、現実の数学的応用でよく見られるマルチモーダルシナリオから分岐する単一の視覚的文脈に限られている。 このギャップに対処するために, MV-MATH: 2,009の高次数学問題からなる厳密にキュレートされたデータセットを導入する。 それぞれの問題は、K-12シナリオから派生したテキストでインターリーブされた複数の画像を統合し、詳細なアノテーションで富む。 MV-MATHは、多重選択、自由形式、多段階の質問を含み、3つの困難レベルにわたる11の主題領域をカバーし、多視覚文脈におけるMLLMの数学的推論を評価するための包括的で厳密なベンチマークとして機能する。 大規模な実験を通じて,多視覚数学におけるMLLMは,MV-MATH上での人的能力に対する性能差がかなり大きい,重大な課題に直面することが観察された。 さらに,様々なモデルの性能とエラーパターンを分析し,マルチ視覚環境におけるMLLMの数学的推論能力について考察する。

関連論文リスト

• MathGLM-Vision: Solving Mathematical Problems with Multi-Modal Large Language Model [25.884425372310147]
  大規模言語モデル(LLM)は、数学的推論において重要な能力を示している。 MLLMは幾何学的な問題を解くことに集中する傾向があるが、数学の他の領域で利用可能な視覚情報の多様性を無視する傾向がある。 本研究の目的は,MathGLM-Vision と呼ばれる特殊な数学的MLLMのシリーズを開発することである。
  論文  参考訳（メタデータ） (2024-09-10T01:20:22Z)
• Math-PUMA: Progressive Upward Multimodal Alignment to Enhance Mathematical Reasoning [5.9767694994869425]
  MLLM(Multimodal Large Language Models)は、テキストベースの数学的問題の解法として優れている。 彼らは、主に自然の風景画像で訓練されているため、数学的図形に苦しむ。 本研究では,プログレッシブ・アップワード・マルチモーダルアライメントに着目したMath-PUMAを提案する。
  論文  参考訳（メタデータ） (2024-08-16T10:11:05Z)
• MathScape: Evaluating MLLMs in multimodal Math Scenarios through a Hierarchical Benchmark [29.9945601202065]
  我々は,視覚情報とテキスト情報の組み合わせの理解と適用を強調する新しいベンチマークであるMathScapeを提案する。 MathScapeは、MLLMの理論的理解と応用能力を評価し、写真に基づく数学問題シナリオを評価するように設計されている。 我々は11の高度MLLMに対して多次元評価を行い、最も洗練されたモデルでさえベンチマークが困難であることを明らかにした。
  論文  参考訳（メタデータ） (2024-08-14T13:23:43Z)
• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models [62.815222721144636]
  我々は、LLaVA-1.5ベースのMathV360Kで微調整されたモデルであるMath-LLaVAを紹介する。 この手法はLLaVA-1.5のマルチモーダル数学的推論能力を著しく改善する。 Math-LLaVAは、MMMUベンチマークで大幅に改善された一般化性を示している。
  論文  参考訳（メタデータ） (2024-06-25T05:43:21Z)
• MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions [58.57255822646756]
  本稿では,大規模言語モデル (LLM) を評価するためのベンチマークであるMathChatを紹介する。 我々は,MathChatベンチマーク上での様々なSOTA LLMの性能評価を行い,これらのモデルが単ターン質問応答において優れているが,より複雑なシナリオでは性能が著しく劣っていることを観察した。 我々は,LLMファインタニングのための合成対話に基づく数学データセットであるMathChat syncを開発した。
  論文  参考訳（メタデータ） (2024-05-29T18:45:55Z)
• Measuring Multimodal Mathematical Reasoning with MATH-Vision Dataset [33.65525875690291]
  実数競合から得られる視覚的コンテキストを持つ3,040個の高品質な数学問題の集合であるMATH-Visionデータセットを提示する。 広汎な実験により,MATH-Vにおける現在のLMMと人的性能の顕著な差が明らかになった。 我々の詳細な分類は、LMMの完全なエラー分析を可能にし、将来の研究開発のガイドとなる貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-22T18:56:38Z)
• Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering [53.56653281752486]
  本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。 数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。 半構造化文書に適した新しいプロンプト技術を導入する。
  論文  参考訳（メタデータ） (2024-02-17T05:10:18Z)
• MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks [56.60050181186531]
  MM-BigBenchを導入し、様々なモデルや命令のパフォーマンスを広範囲に評価する。 本稿では,6タスクにまたがる14のマルチモーダルデータセット上で,20の言語モデル (14 MLLM) を評価し,各タスクに10の指示を与え,新しい洞察を導き出す。
  論文  参考訳（メタデータ） (2023-10-13T11:57:04Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。