論文の概要: MathFlow: Enhancing the Perceptual Flow of MLLMs for Visual Mathematical Problems

• arxiv url: http://arxiv.org/abs/2503.16549v1
• Date: Wed, 19 Mar 2025 11:46:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:57:07.286760
• Title: MathFlow: Enhancing the Perceptual Flow of MLLMs for Visual Mathematical Problems
• Title（参考訳）: MathFlow:視覚数学的問題に対するMLLMの知覚フローの強化
• Authors: Felix Chen, Hangjie Yuan, Yunqiu Xu, Tao Feng, Jun Cen, Pengwei Liu, Zeying Huang, Yi Yang,
• Abstract要約: MLLM(Multimodal Large Language Models)は、視覚数学的な問題解決において、その可能性を十分に示していない。 問題解決時に使用される情報を4つのコンポーネントに分類するベンチマークであるFlowVerseを開発した。 我々は、知覚と推論を異なる段階に分離するモジュール型問題解決パイプラインであるMathFlowを紹介した。
• 参考スコア（独自算出の注目度）: 25.039200070508603
• License:
• Abstract: Despite impressive performance across diverse tasks, Multimodal Large Language Models (MLLMs) have yet to fully demonstrate their potential in visual mathematical problem-solving, particularly in accurately perceiving and interpreting diagrams. Inspired by typical processes of humans, we hypothesize that the perception capabilities to extract meaningful information from diagrams is crucial, as it directly impacts subsequent inference processes. To validate this hypothesis, we developed FlowVerse, a comprehensive benchmark that categorizes all information used during problem-solving into four components, which are then combined into six problem versions for evaluation. Our preliminary results on FlowVerse reveal that existing MLLMs exhibit substantial limitations when extracting essential information and reasoned property from diagrams and performing complex reasoning based on these visual inputs. In response, we introduce MathFlow, a modular problem-solving pipeline that decouples perception and inference into distinct stages, thereby optimizing each independently. Given the perceptual limitations observed in current MLLMs, we trained MathFlow-P-7B as a dedicated perception model. Experimental results indicate that MathFlow-P-7B yields substantial performance gains when integrated with various closed-source and open-source inference models. This demonstrates the effectiveness of the MathFlow pipeline and its compatibility to diverse inference frameworks. The FlowVerse benchmark and code are available at https://github.com/MathFlow-zju/MathFlow.
• Abstract（参考訳）: マルチモーダル言語モデル(MLLM)は、様々なタスクにまたがる顕著なパフォーマンスにもかかわらず、視覚数学的問題解決、特に図の正確な知覚と解釈において、その可能性を十分に示していない。 人間の典型的なプロセスにインスパイアされた私たちは、ダイアグラムから意味のある情報を抽出する知覚能力が、その後の推論プロセスに直接影響を与えるため重要であると仮説を立てた。 この仮説を検証するために,問題解決時に使用される情報をすべて4つのコンポーネントに分類し,評価のために6つの問題バージョンにまとめる,総合的なベンチマークであるFlowVerseを開発した。 FlowVerseの予備的な結果から,既存のMLLMは,図から必須情報や推論特性を抽出し,これらの視覚的入力に基づいて複雑な推論を行う場合に,かなりの制限を課すことが明らかとなった。 そこで我々は,認識と推論を異なる段階に分離し,それぞれを独立して最適化するモジュール型問題解決パイプラインであるMathFlowを紹介した。 MLLMの知覚的限界を考慮し,MathFlow-P-7Bを専用知覚モデルとして訓練した。 実験結果から、MathFlow-P-7Bは、様々なクローズドソースおよびオープンソース推論モデルと統合した場合、かなりの性能向上をもたらすことが示唆された。 これは、MathFlowパイプラインの有効性と、さまざまな推論フレームワークとの互換性を示している。 FlowVerseのベンチマークとコードはhttps://github.com/MathFlow-zju/MathFlowで公開されている。

関連論文リスト

• Open Eyes, Then Reason: Fine-grained Visual Mathematical Understanding in MLLMs [62.875934732547435]
  現在の大言語モデル(MLLM)は、細かな視覚的理解を必要とする数学的問題解決のタスクでは性能が劣ることが多い。 本稿では,最先端MLLMの視覚的接地能力を評価し,視覚的接地精度と問題解決性能との間に有意な負の相関関係を示す。 本稿では,幾何学的地上視覚エンコーダと,階層型視覚特徴マップの寄与度を動的に調整する機能ルータを備えた新しいアプローチであるSVE-Mathを提案する。
  論文  参考訳（メタデータ） (2025-01-11T04:08:44Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• ActionFlow: Equivariant, Accurate, and Efficient Policies with Spatially Symmetric Flow Matching [20.20511152176522]
  ActionFlowは、空間対称性誘導バイアスを統合するポリシークラスである。 表現レベルでは、ActionFlowはSE(3)不変トランスフォーマーアーキテクチャを導入している。 ActionFlowは、最先端の深層生成モデルであるFlow Matchingを活用する。
  論文  参考訳（メタデータ） (2024-09-06T19:30:36Z)
• MAVIS: Mathematical Visual Instruction Tuning with an Automatic Data Engine [85.80851893886161]
  MLLMのための数学的なVISual命令チューニングパイプラインであるMAVISを提案する。 我々はMAVIS-Captionを用いて、図形視覚符号化の改善に適したコントラスト学習により、数学固有の視覚エンコーダ(CLIP-Math)を微調整する。 第3に、ロバストな問題解決スキルの指導チューニングを行うためにMAVIS-Instructを採用し、結果のモデルをMAVIS-7Bと呼ぶ。
  論文  参考訳（メタデータ） (2024-07-11T17:59:47Z)
• FlowLearn: Evaluating Large Vision-Language Models on Flowchart Understanding [52.35520385083425]
  FlowLearnデータセットは、フローチャートの理解を強化するために設計されたリソースである。 科学的サブセットは、科学文献から得られた3,858のフローチャートを含んでいる。 シミュレーションされたサブセットには、カスタマイズ可能なスクリプトを使用して作成された10,000のフローチャートが含まれている。
  論文  参考訳（メタデータ） (2024-07-06T20:58:51Z)
• Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models [62.815222721144636]
  我々は、LLaVA-1.5ベースのMathV360Kで微調整されたモデルであるMath-LLaVAを紹介する。 この手法はLLaVA-1.5のマルチモーダル数学的推論能力を著しく改善する。 Math-LLaVAは、MMMUベンチマークで大幅に改善された一般化性を示している。
  論文  参考訳（メタデータ） (2024-06-25T05:43:21Z)
• First Multi-Dimensional Evaluation of Flowchart Comprehension for Multimodal Large Language Models [0.34952465649465553]
  本研究では,フローチャートに関連するタスクに対して,MLLMを様々な次元にわたって評価する最初の包括的手法であるFlowCEを提案する。 GPT4oモデルでさえ56.63のスコアしか得られないことがわかった。 オープンソースモデルの中で、Phi-3-Visionは49.97という最高スコアを獲得した。
  論文  参考訳（メタデータ） (2024-06-14T14:15:35Z)
• MathVerse: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems? [99.0305256706604]
  MLLMの公平かつ詳細な評価のために設計された全周視覚数学ベンチマークであるMathVerseを紹介する。 我々は,2,612の高品位・多目的数学問題を,公開情報源の図を用いて慎重に収集する。 このアプローチにより、MathVerseは、数学的推論のためのビジュアルダイアグラムを、どの程度のMLLMが真に理解できるかを包括的に評価することができる。
  論文  参考訳（メタデータ） (2024-03-21T17:59:50Z)
• PaddingFlow: Improving Normalizing Flows with Padding-Dimensional Noise [4.762593660623934]
  パディングフロー(PaddingFlow)は,パディング次元雑音による正規化フローを改善する新しいデクエント化法である。 非条件密度推定の主ベンチマークで本手法の有効性を検証した。 この結果から,PaddingFlowはすべての実験において優れた性能を発揮できることがわかった。
  論文  参考訳（メタデータ） (2024-03-13T03:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。