論文の概要: MathVis-Fine: Aligning Visual Supervision with Necessity via Progressive Dependency-Guided Training for Multimodal Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2606.17888v1
• Date: Tue, 16 Jun 2026 13:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.441756
• Title: MathVis-Fine: Aligning Visual Supervision with Necessity via Progressive Dependency-Guided Training for Multimodal Mathematical Reasoning
• Title（参考訳）: MathVis-Fine:マルチモーダルな数学的推論のためのプログレッシブ依存指導による視覚的スーパービジョンの調整
• Authors: Wanshi Xu, Haokun Zhao, Haidong Yuan, Songjun Cao, Long Ma,
• Abstract要約: CoT(Chain-of-Thought)推論は、純粋言語ドメインからマルチモーダルシナリオへと拡張されている。 既存のアプローチでは、視覚入力を均質または補助的な信号として扱うことが多い。 数学的推論におけるきめ細かい視覚的依存をモデル化するためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.454419298028888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-Thought (CoT) reasoning has extended from purely linguistic domains to multimodal scenarios; however, existing approaches often treat visual inputs as homogeneous or auxiliary signals, failing to capture the intricate and sample-specific dependencies between text and images in mathematical problem-solving. This gives rise to two core issues: first, the supervisory signals for visual content are generalized and coarse-grained, lacking adaptation to the actual necessity of visual information in each sample; second, training feedback becomes inaccurate when visual rewards are uniformly applied without distinguishing the complementary relationships among inputs. These limitations hinder models from achieving precise multimodal reasoning. In this work, we propose a framework for modeling fine-grained visual dependencies in mathematical reasoning. We first construct the MathVis-Fine dataset, augmenting fine-grained visual annotations with visual dependency ratings. Building upon this dataset, we introduce a two-stage progressive visual enhancement training paradigm that balances answer correctness rewards and visual grounding rewards according to the intrinsic visual dependency level of each sample, thereby mitigating reward bias and improving supervision accuracy. Extensive experiments demonstrate that the MathVis-Fine framework effectively enhances visual perception progressively based on visual dependency, offering a more precise training framework for multimodal mathematical reasoning. We will release the dataset upon acceptance.
• Abstract（参考訳）: CoT(Chain-of-Thought)推論は純粋に言語的領域からマルチモーダルなシナリオへと拡張されているが、既存のアプローチでは視覚入力を等質的または補助的な信号として扱うことが多く、数学的問題解決においてテキストと画像の間の複雑なおよびサンプル固有の依存関係を捉えることができない。 これは、まず、視覚コンテンツに対する監督信号が一般化され、粗粒化され、各サンプルにおける視覚情報の実際の必要性に適応しない、そして第2に、入力間の相補的関係を区別することなく、視覚報酬を均一に適用した場合に、トレーニングフィードバックが不正確になる、という2つの問題を引き起こす。 これらの制限は、モデルが正確なマルチモーダル推論を達成するのを妨げる。 本研究では,数学的推論におけるきめ細かい視覚的依存をモデル化するためのフレームワークを提案する。 最初にMathVis-Fineデータセットを構築し、視覚的依存度で微粒な視覚アノテーションを付加する。 本データセットに基づいて,各サンプルの内在的視覚依存性レベルに応じて,回答正当性報酬と視覚的接地報酬のバランスを保ち,報酬バイアスを緩和し,監督精度を向上させる2段階のプログレッシブ・ビジュアル・エンハンスメント・トレーニング・パラダイムを導入する。 大規模な実験により、MathVis-Fineフレームワークは視覚依存に基づく視覚知覚を効果的に強化し、マルチモーダルな数学的推論のためのより正確なトレーニングフレームワークを提供する。 承認されたデータセットを公開します。

関連論文リスト

• Deconstructing Multimodal Mathematical Reasoning: Towards a Unified Perception-Alignment-Reasoning Paradigm [82.57296908195654]
  MMR(Multimodal Mathematical Reasoning)は、テキストと視覚の両方のモダリティを含む数学的問題を解く能力に注目が集まっている。 現在のモデルは、実世界の視覚数学のタスクにおいて大きな課題に直面している。
  論文  参考訳（メタデータ） (2026-03-09T12:11:00Z)
• CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving [28.57547723919984]
  本稿では,認知に触発された新しい3段階のフレームワークであるCogFlowについて紹介する。 抽出された視覚的手がかりをその後の推論に忠実に統合することを保証するために,知識内部化リワードモデルを導入する。 また、120K以上の高品質な知覚関連アノテーションを持つサンプルを含むモデルトレーニングのための新しいデータセットMathCogも提供します。
  論文  参考訳（メタデータ） (2026-01-05T08:02:18Z)
• MiCo: Multi-image Contrast for Reinforcement Visual Reasoning [72.81576836419373]
  CoT(Chain-of-Thought)推論は、複数の画像に視覚的手がかりをリンクするために使用することができる。 視覚言語モデル(VLM)の規則に基づく強化学習に適応する 提案手法は,マルチイメージ推論ベンチマークにおいて大幅な改善を実現し,汎用視覚タスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2025-06-27T17:59:27Z)
• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• Weakly-Supervised Learning of Visual Relations in Multimodal Pretraining [25.11384964373604]
  マルチモーダルな設定で視覚的実体を文脈化するための2つの事前学習手法を提案する。 言語化されたシーングラフを用いて、視覚関係のトリプレットを構造化キャプションに変換し、それらを付加的な画像記述として扱う。 マスク付き関係予測では、視覚的にマスクされたコンテキストを持つ画像領域からのエンティティの関連性をさらに促進する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:12Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem [60.0878532426877]
  本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。 具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。 2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
  論文  参考訳（メタデータ） (2022-07-24T23:50:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。