論文の概要: Thinking with Constructions: A Benchmark and Policy Optimization for Visual-Text Interleaved Geometric Reasoning
- arxiv url: http://arxiv.org/abs/2603.18662v1
- Date: Thu, 19 Mar 2026 09:27:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.061449
- Title: Thinking with Constructions: A Benchmark and Policy Optimization for Visual-Text Interleaved Geometric Reasoning
- Title（参考訳）: 構成による思考:ビジュアルテキストインターリーブ幾何推論のためのベンチマークとポリシー最適化
- Abstract要約: 本稿では,Visual-Text Interleaved Chain-of-Thoughtを提案する。
最初にGeoAux-Benchを紹介した。GeoAux-Benchは、4,334の幾何学的問題からなる最初のベンチマークで、テキスト構築ステップと地平線による視覚的更新を一致させる。
パイロット実験では,(1)視覚・テクスチュアル・エイズが,幾何学的相乗効果を損なわない単一モダリティ・エイズよりも優れており,(2)エントロピー・リデューサとして機能し,推論の難易度と強く関連している,という2つの重要な知見が得られた。
- 参考スコア（独自算出の注目度）: 45.18040184559187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Geometric reasoning inherently requires "thinking with constructions" -- the dynamic manipulation of visual aids to bridge the gap between problem conditions and solutions. However, existing Multimodal Large Language Models (MLLMs) are largely confined to passive inference with static diagrams, lacking the strategic knowledge of when and how to construct effective visual aids. To address this, we present a framework for Visual-Text Interleaved Chain-of-Thought. We first introduce GeoAux-Bench, the first benchmark comprising 4,334 geometry problems that aligns textual construction steps with ground-truth visual updates. Our pilot study reveals two critical insights: (1) interleaved visual-textual aids outperform single-modality counterparts, which cannot losslessly capture geometric synergy; and (2) valid constructions act as entropy reducers, strongly correlating with reduced reasoning perplexity. Building on these findings, we propose Action Applicability Policy Optimization (A2PO), a reinforcement learning paradigm for mastering strategic construction. A2PO employs Adaptive Reward Shaping to regulate the timing and quality of visual aids via counterfactual sampling to distinguish necessary from redundant constructions. Experiments demonstrate our approach enables MLLMs to leverage selective auxiliary constructions, yielding a 3.51% gain over strong baselines. Code and data are available on GitHub.
- Abstract（参考訳）: 幾何学的推論は本質的には、問題条件と解の間のギャップを埋めるために、視覚援助の動的操作である「構成を考える」ことを必要とする。
しかし、既存のMLLM(Multimodal Large Language Models)は静的図による受動的推論に限られており、いつ、どのように効果的な視覚援助を構築するかという戦略的知識が欠如している。
そこで我々は,Visual-Text Interleaved Chain-of-Thoughtのフレームワークを提案する。
最初にGeoAux-Benchを紹介した。GeoAux-Benchは、4,334の幾何学的問題からなる最初のベンチマークで、テキスト構築ステップと地平線による視覚的更新を一致させる。
パイロット実験では,(1)視覚・テクスチュアル・エイズが,幾何学的相乗効果を損なわない単一モダリティ・エイズよりも優れており,(2)エントロピー・リデューサとして機能し,推論の難易度と強く関連している,という2つの重要な知見が得られた。
これらの知見に基づいて,戦略構築を習得するための強化学習パラダイムであるA2PO(Action Applicability Policy Optimization)を提案する。
A2POはアダプティブ・リワード・シェーピング(Adaptive Reward Shaping)を使用して、冗長な構成と区別するために、対実的なサンプリングを通じて視覚援助のタイミングと品質を調節する。
実験により, MLLMは選択的補助構造を利用することができ, 強いベースラインよりも3.51%向上することがわかった。
コードとデータはGitHubで入手できる。
関連論文リスト
- Think with Structured Grounding: Perceptual Reinforcement Learning for Chart and Visual-Tabular Understanding [41.288665175678794]
Think with Structured Grounding (TwSG)は、複雑な画像のツール使用能力をモデル内で内部化するために設計された、新しいきめ細かいイメージ認識フレームワークである。
MLLMを用いて、地上の真実に導かれる重要な領域を特定し、教師モデルに高品質な視覚的質問応答データを生成する。
トレーニングパイプラインは,(1)複雑な推論と誤り回復の促進を目的としたマルチターンデータを用いた冷間開始制御微調整(SFT)フェーズ,(2)新しいプロセス報酬機構によって駆動される強化微調整フェーズの2段階からなる。
論文 参考訳（メタデータ） (2026-08-23T14:07:14Z) - EGL-SCA: Structural Credit Assignment for Co-Evolving Instructions and Tools in Graph Reasoning Agents [35.25814217014108]
グラフ推論エージェントのための検証器中心のデュアルスペースフレームワークであるEGL-SCAを提案する。
EGL-SCAは、最先端の92.0%の平均成功率を達成することを示す。
論文 参考訳（メタデータ） (2026-05-11T11:09:32Z) - LatentGeo: Learnable Auxiliary Constructions in Latent Space for Multimodal Geometric Reasoning [32.39048489202347]
画素レベルのレンダリングや外部エグゼキュータを使わずに、連続潜時視覚表現を学習し、補助幾何学的構成を内部化するフレームワークを提案する。
LatentGeoは幾何学的推論タスク、特に補助的な構成を必要とするタスクでかなりの利益を得ている。
論文 参考訳（メタデータ） (2026-03-12T17:01:23Z) - GeoVLMath: Enhancing Geometry Reasoning in Vision-Language Models via Cross-Modal Reward for Auxiliary Line Creation [54.53486231309254]
ソリッド幾何学における補助線形推論に適したオープンソースのLVLMであるGeoVLMathを提案する。
我々は,LVLMの表現強度に整合性を持たせるために,補助線構成のテキスト記述を生成する。
この報酬に基づいて構築されたGeoVLMathは、固体幾何学における補助線形推論に適したオープンソースのLVLMである。
論文 参考訳（メタデータ） (2025-10-13T05:33:51Z) - Light-SQ: Structure-aware Shape Abstraction with Superquadrics for Generated Meshes [60.92139345612904]
我々は、新しいスーパークワッドリックベースの最適化フレームワークLight-SQを提案する。
本稿では,構造対応ボリューム分解によるブロック再配置戦略を提案する。
実験によると、Light-SQはスーパークワッドリックで効率よく、高忠実で、編集可能な形状の抽象化を可能にする。
論文 参考訳（メタデータ） (2025-09-29T16:18:32Z) - GeoSketch: A Neural-Symbolic Approach to Geometric Multimodal Reasoning with Auxiliary Line Construction and Affine Transformation [28.500787311066563]
GeoSketchは、幾何学的推論をインタラクティブな知覚・推論・アクションループとして再キャストする、ニューラルシンボリックなフレームワークである。
階層的な意思決定、実行可能な視覚行動、象徴的な検証を統一することにより、GeoSketchは静的解釈から動的相互作用へのマルチモーダル推論を前進させる。
論文 参考訳（メタデータ） (2025-09-26T15:12:04Z) - Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。
既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。
近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。
KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
論文 参考訳（メタデータ） (2025-06-11T12:03:52Z) - GeometryZero: Improving Geometry Solving for LLM with Group Contrastive Policy Optimization [63.107398132743825]
Group Contrastive Policy Optimization(GCPO)は、2つの重要なイノベーションを特徴とする新しい強化学習フレームワークである。
我々はGeometryZeroを開発した。GeometryZeroは、手頃なサイズの幾何学的推論モデルで、補助的な建設をいつ行うべきかを判断する。
論文 参考訳（メタデータ） (2025-06-08T14:18:15Z) - A Framework for Reducing the Complexity of Geometric Vision Problems and its Application to Two-View Triangulation with Approximation Bounds [14.419727000332717]
三角測量は、複数の画像にわたるノイズの多い2次元投影から3次元点を推定するタスクである。
本稿では,再投射誤差を最小限に抑えるために使用されるコスト関数の再重み付けにより,幾何学的視覚問題の計算複雑性を低減するための新しいフレームワークを提案する。
この研究は2次元三角測量に焦点を当てているが、このフレームワークは他の幾何学的視覚問題に一般化している。
論文 参考訳（メタデータ） (2025-03-11T08:00:51Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳（メタデータ） (2023-03-10T14:38:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。