論文の概要: Think with Structured Grounding: Perceptual Reinforcement Learning for Chart and Visual-Tabular Understanding
- arxiv url: http://arxiv.org/abs/2608.22429v1
- Date: Sun, 23 Aug 2026 14:07:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.767214
- Title: Think with Structured Grounding: Perceptual Reinforcement Learning for Chart and Visual-Tabular Understanding
- Title（参考訳）: 構造的接地による思考:チャートとビジュアルタブラリ理解のための知覚的強化学習
- Abstract要約: Think with Structured Grounding (TwSG)は、複雑な画像のツール使用能力をモデル内で内部化するために設計された、新しいきめ細かいイメージ認識フレームワークである。
MLLMを用いて、地上の真実に導かれる重要な領域を特定し、教師モデルに高品質な視覚的質問応答データを生成する。
トレーニングパイプラインは,(1)複雑な推論と誤り回復の促進を目的としたマルチターンデータを用いた冷間開始制御微調整(SFT)フェーズ,(2)新しいプロセス報酬機構によって駆動される強化微調整フェーズの2段階からなる。
- 参考スコア（独自算出の注目度）: 41.288665175678794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Language Models (MLLMs) capable of thinking with images often rely on external tools for fine-grained perception. However, this reliance introduces significant inference latency and fails to effectively resolve the spatial-structural gap-a fundamental challenge in text-dense and structurally relational visuals (e.g., charts and visual tables) where strict relative spatial arrangements bind textual elements. Without external tools, standard MLLMs struggle with such fine-grained visual reasoning tasks. To address these issues, we propose Think with Structured Grounding (TwSG), a novel fine-grained image perception framework designed to internalize complex images's tool-use capabilities within the model. TwSG distills the benefits of multi-step reasoning and micro-cropping into a single efficient forward pass during inference. Specifically, we use an MLLM to identify key regions guided by ground-truth answers, and then prompt a teacher model to generate high-quality visual question-answering (VQA) data. These fine-grained, region-based supervisory signals are subsequently distilled back into the full-image representation. Our training pipeline consists of two stages: (1) a cold-start supervised fine-tuning (SFT) phase using multi-turn data with focused area descriptions to foster complex reasoning and error recovery; and (2) a reinforcement fine-tuning (RFT) phase driven by a novel process reward mechanism, TL-GRPO, which encourages strategic reasoning. Extensive experiments across various MLLM architectures demonstrate that TwSG reduces inference latency while substantially improving accuracy and robustness, endowing models with native fine-grained region description and flexible reasoning capabilities.
- Abstract（参考訳）: 画像で考えることができるマルチモーダル大言語モデル(MLLM)は、微粒な知覚のために外部ツールに依存していることが多い。
しかし、この依存は推論遅延を著しく引き起こし、厳密な相対的空間配置がテキスト要素に結合するテキストセンスと構造的関係性視覚(例えば、チャートやビジュアルテーブル)において、空間構造的ギャップを効果的に解決することができない。
外部ツールがなければ、標準的なMLLMは、このようなきめ細かい視覚的推論タスクに苦労する。
これらの問題に対処するために、複雑な画像のツール使用能力をモデル内に内在させるために設計された、新しいきめ細かい画像認識フレームワークであるThink with Structured Grounding (TwSG)を提案する。
TwSGは、マルチステップ推論とマイクロクロップの利点を推論中に単一の効率的なフォワードパスに蒸留する。
具体的には、MLLMを用いて、地上の真実に導かれる重要な領域を特定し、教師モデルに高品質な視覚質問応答(VQA)データを生成するよう促す。
これらのきめ細かい領域ベースの監視信号は、後にフルイメージ表現に蒸留される。
トレーニングパイプラインは,(1)複雑な推論と誤り回復を促進するために,集中領域記述を用いたマルチターンデータを用いた冷間開始型微調整(SFT)フェーズと,(2)新たなプロセス報酬機構であるTL-GRPOによって駆動される強化微調整(RFT)フェーズの2段階からなる。
様々なMLLMアーキテクチャにわたる大規模な実験により、TwSGは推論遅延を低減し、精度と堅牢性を大幅に向上し、ネイティブなきめ細かい領域記述と柔軟な推論能力を持つモデルを提供する。
関連論文リスト
- GReFEM: Multimodal LLMs as Zero-Shot Semantic Assistants for Physics-Guided 3D Mesh Refinement [0.0]
マルチモーダル大言語モデルの高レベルな意味論的理解は、有限要素メッシュの洗練のための、実行可能なゼロショット幾何学的プロキシとして機能するのか?
2次元MLLM事前学習と3次元ジオメトリのギャップを埋めるために,重要な特徴の可観測性を最大化するビュー選択モジュールであるortoViewsを導入する。
以上の結果から,MLLMは複雑な空間物理的指示を正確に追従するために頑健なゼロショット能力を示し,ブラインドアシスタントよりも高い精度でストレス関連特徴を分離することが明らかとなった。
論文 参考訳（メタデータ） (2026-07-08T14:46:54Z) - ExACT: Exemplar-Driven Calibrated Refinement for Training-Free Visual Grounding in Remote Sensing Images [51.53960096934913]
リモートセンシングビジュアルグラウンドティング(RSVG)は、自由形式の自然言語記述を用いて、高解像度のRS画像中の特定の物体を特定することを目的としている。
マルチモーダル大言語モデル(MLLM)の最近の進歩は、そのようなオープン語彙RSVGに大きな可能性を示している。
Inemplar-driven Calibrated Refinement (ExACT)を提案する。
論文 参考訳（メタデータ） (2026-06-27T13:50:39Z) - PointVG-R: Internalizing Geometric Reasoning in MLLMs for Precise Pointing Localization via Visual Chain of Thought [19.680475189691965]
ポインティングに基づく視覚的グラウンドリングでは、視覚シーンとポインティングジェスチャの間の複雑な空間的関係を解読することで、ターゲットオブジェクトを正確に特定する必要がある。
推論誘導型マルチモーダル言語モデル(MLLM)であるPointVG-Rを提案する。
我々は,人間の指し示すジェスチャーを解釈する際に使用する反復的認知過程をシミュレートする,新しい幾何学的推論パイプラインを設計する。
論文 参考訳（メタデータ） (2026-06-23T13:06:51Z) - SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。
テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。
本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
論文 参考訳（メタデータ） (2026-04-19T11:21:59Z) - Learning to Focus and Precise Cropping: A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs [58.32326205291745]
MLLMは画像トリミングツールを自律的に利用し、質問応答のための関心領域を分析する。
我々は,このモデルが大域的な入力に強く依存していることと,収穫領域の細部への弱い依存を実証する。
監視を必要としない新しい2段階強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-29T03:18:57Z) - Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
単眼画像からの空間的推論は 自律運転には不可欠です
現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。
本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-07T02:05:12Z) - GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。
抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。
提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
論文 参考訳（メタデータ） (2025-09-20T02:38:00Z) - Learning Only with Images: Visual Reinforcement Learning with Reasoning, Rendering, and Visual Feedback [33.127607245587576]
本稿では,MLLMが生画像のみから複雑な視覚的推論を学習できるようにするフレームワークを提案する。
我々は、この相対的容易さが強化学習による最適化に理想的な報酬信号を提供することを示した。
RRVF訓練モデルは既存のMLLMを上回り、微調整ベースラインを監督するだけでなく、より優れた一般化を示す。
論文 参考訳（メタデータ） (2025-07-28T12:21:19Z) - EarthGPT-X: A Spatial MLLM for Multi-level Multi-Source Remote Sensing Imagery Understanding with Visual Prompting [46.44805092655782]
EarthGPT-Xは、マルチソースRS画像の理解を統一する最初のフレキシブル空間MLLMである。
1つのフレームワークで様々な視覚的プロンプトの下で、粗い粒度ときめ細かな視覚的タスクを達成します。
論文 参考訳（メタデータ） (2025-04-17T09:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。