論文の概要: MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts

• arxiv url: http://arxiv.org/abs/2310.02255v1
• Date: Tue, 3 Oct 2023 17:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 12:47:49.936072
• Title: MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts
• Title（参考訳）: MathVista:ビジュアルコンテキストにおける基礎モデルの数学的推論の評価
• Authors: Pan Lu, Hritik Bansal, Tony Xia, Jiacheng Liu, Chunyuan Li, Hannaneh Hajishirzi, Hao Cheng, Kai-Wei Chang, Michel Galley, Jianfeng Gao
• Abstract要約: 大規模言語モデル(LLM)とLMM(Large Multimodal Models)は、様々な領域において優れたスキルを示すが、視覚的文脈における数学的推論能力は公式には検討されていない。 MathVistaは、様々な数学的・視覚的なタスクから課題を解き放つために設計されたベンチマークである。 MathVistaは、数学的に集約的で視覚的にリッチな現実世界のタスクに対処できる汎用AIエージェントの開発において、将来の研究を加速させる。
• 参考スコア（独自算出の注目度）: 170.01089233942594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although Large Language Models (LLMs) and Large Multimodal Models (LMMs) exhibit impressive skills in various domains, their ability for mathematical reasoning within visual contexts has not been formally examined. Equipping LLMs and LMMs with this capability is vital for general-purpose AI assistants and showcases promising potential in education, data analysis, and scientific discovery. To bridge this gap, we present MathVista, a benchmark designed to amalgamate challenges from diverse mathematical and visual tasks. We first taxonomize the key task types, reasoning skills, and visual contexts from the literature to guide our selection from 28 existing math-focused and visual question answering datasets. Then, we construct three new datasets, IQTest, FunctionQA, and PaperQA, to accommodate for missing types of visual contexts. The problems featured often require deep visual understanding beyond OCR or image captioning, and compositional reasoning with rich domain-specific tools, thus posing a notable challenge to existing models. We conduct a comprehensive evaluation of 11 prominent open-source and proprietary foundation models (LLMs, LLMs augmented with tools, and LMMs), and early experiments with GPT-4V. The best-performing model, Multimodal Bard, achieves only 58% of human performance (34.8% vs 60.3%), indicating ample room for further improvement. Given this significant gap, MathVista fuels future research in the development of general-purpose AI agents capable of tackling mathematically intensive and visually rich real-world tasks. Preliminary tests show that MathVista also presents challenges to GPT-4V, underscoring the benchmark's importance. The project is available at https://mathvista.github.io/.
• Abstract（参考訳）: 大規模言語モデル(llm)と大規模マルチモーダルモデル(lmm)は様々な領域において印象的なスキルを示すが、視覚的文脈における数学的推論能力は正式には検討されていない。 この能力でLLMとLMMを入手することは、汎用AIアシスタントにとって不可欠であり、教育、データ分析、科学的発見において有望な可能性を示す。 このギャップを埋めるために,さまざまな数学的および視覚的タスクの課題を回避すべく設計されたベンチマークであるmathvistaを提案する。 まず,本論文から重要タスクタイプ,推論スキル,視覚的コンテキストを分類し,既存の28の算数および視覚的質問応答データセットから選択する。 そして、欠落した視覚的コンテキストに対応するために、IQTest、FunctionQA、PaperQAという3つの新しいデータセットを構築します。 しばしば取り上げられる問題は、ocrや画像キャプションを超えた深い視覚的理解と、リッチなドメイン固有のツールによる構成的推論を必要とするため、既存のモデルにとって大きな課題となる。 我々は,11の著名なオープンソースおよびプロプライエタリ基盤モデル(LLM,ツール付きLLM,LMM)を総合的に評価し,GPT-4Vによる早期実験を行った。 最高のパフォーマンスモデルであるMultimodal Bardは、人間のパフォーマンスの58%しか達成していない(34.8%対60.3%)。 この大きなギャップを考えると、mathvistaは、数学的に集中的で視覚的にリッチな実世界のタスクに取り組むことができる汎用aiエージェントの開発における将来の研究を加速する。 予備的なテストでは、MathVistaはGPT-4Vにも課題を示し、ベンチマークの重要性を強調している。 プロジェクトはhttps://mathvista.github.io/で入手できる。

関連論文リスト

• DynaMath: A Dynamic Visual Benchmark for Evaluating Mathematical Reasoning Robustness of Vision Language Models [19.787224412654872]
  In-deepth Assessment of Vision-Language Models (VLMs) のための動的視覚数学ベンチマークであるDynaMathを紹介する。 DynaMathには501の高品質でマルチトピックなシード質問が含まれており、それぞれがPythonプログラムとして表現されている。 その結果,10変種すべてにおいて正解された種子質問の割合として定義される最悪のモデル精度は,平均値よりも有意に低いことがわかった。
  論文  参考訳（メタデータ） (2024-10-29T17:29:19Z)
• Polymath: A Challenging Multi-modal Mathematical Reasoning Benchmark [53.61633384281524]
  PolyMATHはMLLMの認知的推論能力を評価するためのベンチマークである。 PolyMATHで最高のスコアは41%、36%、27%で、それぞれClaude-3.5 Sonnet、GPT-4o、Gemini-1.5 Proが獲得した。 さらにきめ細かい誤差解析により、これらのモデルは空間関係を理解し、引き出された高レベルの推論を行うのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-06T20:35:41Z)
• CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs [62.84082370758761]
  CharXivは、arXiv論文の2,323のチャートを含む総合的な評価スイートである。 品質を確保するために、すべてのチャートと質問は、人間の専門家によって手書きされ、キュレーションされ、検証されます。 その結果、最強のプロプライエタリモデルの推論スキルの間に、かなり過小評価されていたギャップが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-26T17:50:11Z)
• Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models [62.815222721144636]
  我々は、LLaVA-1.5ベースのMathV360Kで微調整されたモデルであるMath-LLaVAを紹介する。 この手法はLLaVA-1.5のマルチモーダル数学的推論能力を著しく改善する。 Math-LLaVAは、MMMUベンチマークで大幅に改善された一般化性を示している。
  論文  参考訳（メタデータ） (2024-06-25T05:43:21Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)
• Lila: A Unified Benchmark for Mathematical Reasoning [59.97570380432861]
  LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。 我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。 LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
  論文  参考訳（メタデータ） (2022-10-31T17:41:26Z)
• NumGLUE: A Suite of Fundamental yet Challenging Mathematical Reasoning Tasks [37.730939229638224]
  8つのタスクでAIシステムの性能を評価するベンチマークであるNumGLUEを提案する。 このベンチマークは、最先端の大規模言語モデルを含むニューラルモデルで解決されるには程遠い。 我々はNumGLUEが言語内で堅牢で一般的な算術推論を行うシステムを促進することを願っている。
  論文  参考訳（メタデータ） (2022-04-12T09:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。