論文の概要: Enhancing Spatial Reasoning in Vision-Language Models via Chain-of-Thought Prompting and Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2507.13362v1
• Date: Sun, 06 Jul 2025 10:51:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-27 08:26:15.900438
• Title: Enhancing Spatial Reasoning in Vision-Language Models via Chain-of-Thought Prompting and Reinforcement Learning
• Title（参考訳）: チェーン・オブ・ソート・プロンプティングと強化学習による視覚言語モデルにおける空間推論の強化
• Abstract要約: 本研究では,視覚言語モデル(VLM)の空間的推論能力について,Chain-of-Thoughtプロンプトと強化学習を通して検討した。 モデルが解答の前に推論ステップを生成する単純なCoT形式は、モデルの本来の性能を損なう可能性がある。 対照的に、シーングラフ(SceneGraph CoT)に基づく構造化マルチステージプロンプトは空間推論の精度を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 0.42855555838080844
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This study investigates the spatial reasoning capabilities of vision-language models (VLMs) through Chain-of-Thought (CoT) prompting and reinforcement learning. We begin by evaluating the impact of different prompting strategies and find that simple CoT formats, where the model generates a reasoning step before the answer, not only fail to help, but can even harm the model's original performance. In contrast, structured multi-stage prompting based on scene graphs (SceneGraph CoT) significantly improves spatial reasoning accuracy. Furthermore, to improve spatial reasoning ability, we fine-tune models using Group Relative Policy Optimization (GRPO) on the SAT dataset and evaluate their performance on CVBench. Compared to supervised fine-tuning (SFT), GRPO achieves higher accuracy on Pass@1 evaluations and demonstrates superior robustness under out-of-distribution (OOD) conditions. In particular, we find that SFT overfits to surface-level linguistic patterns and may degrade performance when test-time phrasing changes (e.g., from "closer to" to "farther from"). GRPO, on the other hand, generalizes more reliably and maintains stable performance under such shifts. Our findings provide insights into how reinforcement learning and structured prompting improve the spatial reasoning capabilities and generalization behavior of modern VLMs. All code is open source at: https://github.com/Yvonne511/spatial-vlm-investigator
• Abstract（参考訳）: 本研究では,視覚言語モデル(VLM)の空間的推論能力について,CoT(Chain-of-Thought)の促進と強化学習を通して検討した。 まず、異なるプロンプト戦略の影響を評価し、モデルが答えの前に推論ステップを生成する単純なCoTフォーマットを見つけます。 対照的に、シーングラフ(SceneGraph CoT)に基づく構造化マルチステージプロンプトは空間推論の精度を大幅に向上させる。 さらに,空間的推論能力を向上させるため,SATデータセット上でのグループ相対ポリシー最適化(GRPO)を用いた微調整モデルを作成し,CVBench上での性能評価を行った。 教師付き微調整(SFT)と比較して、GRPOはPass@1評価において高い精度を達成し、アウト・オブ・ディストリビューション(OOD)条件下での優れた堅牢性を示す。 特に,SFTは表層言語パターンに過度に適合し,テスト時のフレーズ変更時に性能が低下する可能性がある(例:「クローザー」から「遠く」へ)。 一方、GRPOはより確実に一般化し、そのようなシフトの下で安定した性能を維持する。 本研究は,現代のVLMの空間的推論能力と一般化行動を改善するために,強化学習と構造化がいかに促進されるかについての知見を提供する。 https://github.com/Yvonne511/spatial-vlm-investigator.com/spatial-vlm-investigator

関連論文リスト

• Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
  本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。 SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。 ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-05-18T10:05:21Z)
• From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding [35.008790179255136]
  本稿では,ハードケースにおける学習を促進するグループ・リビジョン最適化パラダイムを提案する。 報酬形成にインスパイアされ,初期試行よりも各候補者の改善を定量化する統合プロセスを導入する。 提案手法は,従来のGRPOモデルと比較して,参照と推論のセグメンテーション,REC,およびカウントのベンチマークで一貫したゲインを実現する。
  論文  参考訳（メタデータ） (2026-05-15T13:41:41Z)
• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
  Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。 PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。 理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
  論文  参考訳（メタデータ） (2026-04-02T09:53:20Z)
• Dr. Seg: Revisiting GRPO Training for Visual Large Language Models through Perception-Oriented Design [39.867923322793246]
  本稿では,Look-to-Confirm 機構と Distribution-Ranked Reward モジュールで構成されるシンプルな GRPO ベースのフレームワークである Dr.Seg を提案する。 実験によると、Dr.Segは強力な一般化を維持しながら、複雑な視覚シナリオのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-02-25T07:59:42Z)
• Graph Reasoning Paradigm: Structured and Symbolic Reasoning with Topology-Aware Reinforcement Learning for Large Language Models [45.28250076657801]
  Long Chain-of-Thought (LCoT) は,Large Language Models (LLM) の推論能力の向上に有効であることが証明されている。 RLVRベースの最適化にもかかわらず、既存の手法はいまだに粗大な監督、報酬のハッキング、高いトレーニングコスト、一般化の欠如に悩まされている。 ステップレベルの認知ラベルを持つグラフ構造化表現を用いて,構造化および記号的推論を実現するグラフ推論パラダイム(GRP)を提案する。
  論文  参考訳（メタデータ） (2026-01-19T12:23:00Z)
• Reasoning Palette: Modulating Reasoning via Latent Contextualization for Controllable Exploration for (V)LMs [49.66344956133349]
  推論能力は、大規模な(ビジョン)言語モデルのための推論時間性能と強化学習(RL)トレーニングの両方を形作る。 本稿では,戦略的文脈化のための潜在変数をモデルに付与する新しい潜在変調フレームワークであるReasoning Paletteを提案する。
  論文  参考訳（メタデータ） (2025-12-19T03:32:53Z)
• PROPA: Toward Process-level Optimization in Visual Reasoning via Reinforcement Learning [30.44007644340425]
  本稿では,モンテカルロ木探索 (MCTS) とGRPOを統合した新しいフレームワーク PROPA について紹介する。 7つのベンチマークと4つのVLMバックボーンで、PROPAはSFTとRLVRベースのベースラインを一貫して上回っている。 ドメイン内タスクで最大17.0%、ドメイン外タスクで最大21.0%のゲインを達成する。
  論文  参考訳（メタデータ） (2025-11-13T13:06:12Z)
• Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
  大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である 我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。 提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
  論文  参考訳（メタデータ） (2025-10-27T23:10:06Z)
• Context-Informed Grounding Supervision [102.11698329887226]
  コンテキストインフォームド・グラウンド(Context-Informed Grounding Supervision, CINGS)は、モデルが応答に先立って関連するコンテキストでトレーニングされる訓練後の監督である。 実験により, CINGSで訓練したモデルでは, テキスト領域と視覚領域の両方において, より強い基底が示されることがわかった。
  論文  参考訳（メタデータ） (2025-06-18T14:13:56Z)
• SVQA-R1: Reinforcing Spatial Reasoning in MLLMs via View-Consistent Reward Optimization [57.484274282231226]
  本稿では,R1スタイルのトレーニングを空間VQAに拡張する最初のフレームワークであるSVQA-R1を提案する。 特に,オブジェクト間の空間的関係を摂動させることで,視点に一貫性のある報酬を構成する新しいグループワイドRL戦略であるSpatial-GRPOを紹介する。 我々のモデルSVQA-R1は空間的VQAベンチマークの精度を劇的に向上させるだけでなく、教師付き微調整データを使用しなくても解釈可能な推論経路を示す。
  論文  参考訳（メタデータ） (2025-06-02T06:58:43Z)
• Topology-Aware CLIP Few-Shot Learning [0.0]
  本稿では,Representation Topology DivergenceをTask Residualフレームワークに統合したトポロジ対応チューニング手法を提案する。 RTDとクロスエントロピー損失を組み合わせた視覚・テキスト表現のトポロジ的構造を明示的に整合させることにより,本手法は撮影性能を向上する。
  論文  参考訳（メタデータ） (2025-05-03T04:58:29Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
  我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。 OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• Prompt-OT: An Optimal Transport Regularization Paradigm for Knowledge Preservation in Vision-Language Model Adaptation [5.296260279593993]
  CLIPのような視覚言語モデル(VLM)は、強力なパフォーマンスを示すが、下流タスクに適応する際には苦労する。 本稿では,特徴分布の構造的整合性を保つことにより,忘れを軽減できる最適トランスポート(OT)誘導型プロンプト学習フレームワークを提案する。 提案手法は,視覚とテキスト表現の両面に制約を課し,全体的な特徴の整合性を確保する。
  論文  参考訳（メタデータ） (2025-03-11T21:38:34Z)
• AlphaMaze: Enhancing Large Language Models' Spatial Intelligence via GRPO [0.0]
  大きな言語モデル(LLM)は、言語処理において印象的な能力を示してきたが、視覚的な空間的推論を必要とするタスクにしばしば苦労している。 迷路ナビゲーションのための視覚的推論能力を備えた標準LLMの2段階学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-20T16:05:18Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• Deliberate Reasoning in Language Models as Structure-Aware Planning with an Accurate World Model [14.480267340831542]
  高精度世界モデル(SWAP)による構造認識計画 SWAPは構造化知識表現と学習計画を統合する。 SWAPは,数理推論,論理推論,コーディングタスクなど,多種多様な推論集約型ベンチマークで評価される。
  論文  参考訳（メタデータ） (2024-10-04T04:23:36Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs [63.36637269634553]
  本稿では,LLMを微調整し,一つの推論ステップで思考の逆連鎖(DCoT)を生成する手法を提案する。 DCoTの微調整により,モデルファミリおよびスケール間のCoTベースライン上での性能が向上することを示す。 我々の研究は、定量的解析と手動評価の両方で、観測された利益は、最初の推論連鎖を洗練させるモデルの能力に由来することを明らかにしているため、重要である。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。