Fugu-MT 論文翻訳(概要): CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning

論文の概要: CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning

arxiv url: http://arxiv.org/abs/2608.02833v1
Date: Mon, 03 Aug 2026 19:48:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:22.937272
Title: CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning
Title（参考訳）: CURV: カリキュラムビジュアルグラウンド推論によるチャート理解の強化
Abstract要約: チャート質問応答 (CQA) は、視覚的理解と論理的推論を統合するために、マルチモーダルな大言語モデル (MLLM) を必要とする。現在のMLLMには固有の視覚的根拠に基づく推論能力がなく、不正確な認識と視覚的証拠から切り離された推論をもたらす。 CQAを多段階の視覚的基盤的推論として再構成することにより、固有の視覚的推論機能を開発するカリキュラム学習フレームワークCURVを提案する。
参考スコア（独自算出の注目度）: 58.582602613053204
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Chart question answering (CQA) requires multimodal large language models (MLLMs) to integrate visual comprehension with logical reasoning, yet current models struggle with accurate visual grounding and coherent reasoning chains. While extrinsic chain-of-thought prompting and visual cues significantly improve performance, current MLLMs lack intrinsic visual grounded reasoning capabilities, leading to inaccurate perception and reasoning disconnected from visual evidence. To address these limitations, we propose CURV, a curriculum learning framework that develops intrinsic visual reasoning capabilities by reformulating CQA as multi-step visual grounded reasoning, where each step coordinates logical reasoning with dynamic visual grounding through spatial attention concentration. To assist model learning, we further introduce CCQA, a three-level curriculum dataset with scalable synthetic generation across diverse chart types and reasoning patterns. Our curriculum systematically progresses from basic single-operation reasoning to complex multi-chart compositional tasks. Experiments demonstrate that CURV achieves up to $\uparrow20.50\%$ improvements over baselines and is generalizable to real-world benchmarks (up to $\uparrow12.30\%$) and out-of-domain multimodal reasoning tasks (up to $\uparrow10.20\%$), validating the effectiveness of internalizing visual reasoning with dynamic grounding for enhanced chart understanding capabilities. Code is available at: https://xhguo7.github.io/CURV/.
Abstract（参考訳）: チャート質問応答(CQA)は、論理的推論と視覚的理解を統合するためにマルチモーダルな大言語モデル(MLLM)を必要とするが、現在のモデルは正確な視覚的接地と一貫性のある推論連鎖に苦慮している。内在的な連鎖と視覚的手がかりは、性能を著しく向上させるが、現在のMLLMは、内在的な視覚的根拠に基づく推論能力が欠如しており、不正確な知覚と視覚的エビデンスからの推論に繋がる。これらの制約に対処するために,CQAを多段階の視覚的根拠推論として再構成し,空間的注意集中による動的視覚的根拠付けと論理的推論を協調させることにより,固有の視覚的推論機能を開発するカリキュラム学習フレームワークCURVを提案する。モデル学習を支援するために,多様なチャートタイプと推論パターンにまたがるスケーラブルな合成生成を備えた3段階のカリキュラムデータセットであるCCQAを導入する。我々のカリキュラムは、基本的な単一操作推論から複雑なマルチチャート構成タスクへと体系的に進歩する。実験の結果、CURVはベースラインよりも最大$\uparrow20.50\%の改善を達成し、実際のベンチマーク(最大$\uparrow12.30\%)やドメイン外のマルチモーダル推論タスク(最大$\uparrow10.20\%)に一般化可能である。コードは、https://xhguo7.github.io/CURV/で入手できる。

関連論文リスト

CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving [28.57547723919984]
本稿では,認知に触発された新しい3段階のフレームワークであるCogFlowについて紹介する。抽出された視覚的手がかりをその後の推論に忠実に統合することを保証するために,知識内部化リワードモデルを導入する。また、120K以上の高品質な知覚関連アノテーションを持つサンプルを含むモデルトレーニングのための新しいデータセットMathCogも提供します。
論文参考訳（メタデータ） (2026-01-05T08:02:18Z)
Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens [54.18057944158818]
Chain-of-Visual-Thought (COVT)は、ビジョンランゲージモデル(VLM)が連続的な視覚トークンを通じて推論できるようにするフレームワークである。約20枚のトークンからなる小さな予算の中で、COVTは軽量ビジョンの専門家から知識を抽出する。トレーニング中、COVTを持つVLMは視覚トークンを自動回帰予測し、密集した監視信号を再構築する。
論文参考訳（メタデータ） (2025-11-24T18:55:19Z)
Visual Jigsaw Post-Training Improves MLLMs [58.29961336087896]
大規模言語モデル(MLLM)における視覚的理解を強化するために設計された,汎用的な自己教師型ポストトレーニングフレームワークであるVisual Jigsawを紹介する。視覚的な入力は分割され、シャッフルされ、モデルは自然言語で正しい置換を生成することで視覚情報を再構築する必要がある。広範囲な実験により、微粒な知覚、時間的推論、空間的理解が大幅に改善された。
論文参考訳（メタデータ） (2025-09-29T17:59:57Z)
Understand, Think, and Answer: Advancing Visual Reasoning with Large Multimodal Models [26.14137626882127]
大規模マルチモーダルモデル(LMM)は、視覚言語と視覚中心のタスクの両方において、目覚しい視覚的理解性能を示す。本稿では,LMMが複雑な構成問題を解くための統一的な視覚推論機構を提案する。トレーニングされたモデルであるGriffon-Rには、エンドツーエンドの自動理解、自己思考、推論の回答能力があります。
論文参考訳（メタデータ） (2025-05-27T05:50:25Z)
ChartSketcher: Reasoning with Multimodal Feedback and Reflection for Chart Understanding [18.67532755744138]
チャートの自動理解は、既存のマルチモーダルな大規模言語モデルに重大な課題をもたらす。現在のステップバイステップ推論モデルは、主にチャート理解のためのテキストベースの論理的推論に焦点を当てている。マルチモーダルフィードバック駆動のステップバイステップ推論手法であるChartSketcherを提案する。
論文参考訳（メタデータ） (2025-05-25T10:21:29Z)
Can MLLMs Guide Me Home? A Benchmark Study on Fine-Grained Visual Reasoning from Transit Maps [56.76175383189738]
MLLMの詳細な視覚的理解と空間的推論能力を評価するためのベンチマークであるReasonMapを紹介する。 ReasonMapには、13か国30都市からの高解像度のトランジットマップが含まれており、2つの質問タイプと3つのテンプレートにまたがる1008の質問応答ペアが含まれている。基本および推論変種を含む15種類のMLLMの包括的評価は、直感的パターンを示す。
論文参考訳（メタデータ） (2025-05-24T12:33:52Z)
Open Eyes, Then Reason: Fine-grained Visual Mathematical Understanding in MLLMs [62.875934732547435]
現在の大言語モデル(MLLM)は、細かな視覚的理解を必要とする数学的問題解決のタスクでは性能が劣ることが多い。本稿では,最先端MLLMの視覚的接地能力を評価し,視覚的接地精度と問題解決性能との間に有意な負の相関関係を示す。本稿では,幾何学的地上視覚エンコーダと,階層型視覚特徴マップの寄与度を動的に調整する機能ルータを備えた新しいアプローチであるSVE-Mathを提案する。
論文参考訳（メタデータ） (2025-01-11T04:08:44Z)
Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
論文参考訳（メタデータ） (2025-01-08T18:31:16Z)
Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
論文参考訳（メタデータ） (2024-06-24T17:59:42Z)
See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning [60.43585179885355]
本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。 IPVRには3つのステージがある。我々は,知識に基づく視覚的推論データセットについて実験を行った。
論文参考訳（メタデータ） (2023-01-12T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。