論文の概要: SpatialSpeak: QA-Native Reconstruction with Local and Global Context for Spatial Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2609.33616v1
• Date: Sun, 27 Sep 2026 14:31:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:14:43.45114
• Title: SpatialSpeak: QA-Native Reconstruction with Local and Global Context for Spatial Chain-of-Thought Reasoning
• Title（参考訳）: SpaceSpeak:空間連鎖推論のための局所的・グローバル的文脈を用いたQA-Native Restruction
• Abstract要約: 視覚言語モデル(VLM)は、多視点空間推論の幾何学的先行の恩恵を受けることができる。 解答のみのトレーニングは、中間幾何学的推定と定量的空間的回答の導出におけるそれらの使用を直接監督するものではない。 本研究では,空間的CoT学習と事前学習を結びつける2段階のフレームワークであるSpatialSpeakを紹介する。
• 参考スコア（独自算出の注目度）: 37.90681269629914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) can benefit from geometric priors for multi-view spatial reasoning, yet answer-only training does not directly supervise the intermediate geometric estimates and their use in deriving quantitative spatial answers. We hypothesize that spatial chain-of-thought (CoT) supervision becomes more effective when the VLM first jointly learns complementary local geometry and global scene context through multi-view reconstruction. We introduce SpatialSpeak, a two-stage framework that connects QA-native reconstruction pretraining with spatial CoT learning. In Stage I, QA-Native Reconstruction Pretraining (QA-RP) combines marked-point 3D queries for fine-grained local geometry with object-center queries for global scene context across views. Both tasks are formulated as text-based question answering, allowing geometric estimation and subsequent reasoning to share the same autoregressive output interface. In Stage II, spatial CoT with Visual Compensation (CoT-VC) trains the model to express question-relevant geometric estimates and use them to derive answers, with reliability assessment and visual compensation supporting answer refinement when needed. On ReVSI, QA-RP increases the gain from CoT-VC from 2.6 to 6.9 points, and ablations show that both local and global reconstruction supervision are beneficial. SpatialSpeak achieves state-of-the-art results on ReVSI, VSI-Bench, and SPAR-Bench, with a ReVSI score of 62.8 that exceeds the strongest compared baseline by 8.7 points.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、多視点空間推論における幾何学的事前の利点を享受できるが、答えのみの訓練は、中間幾何学的推定と定量的空間的答えの導出におけるそれらの使用を直接監督するものではない。 空間的連鎖(CoT)の監督は,VLMが多視点再構成により,まず相補的局所幾何学とグローバルシーンコンテキストを共同で学習すると,より効果的になる,という仮説を立てる。 本研究では,QA-ネイティブ再構築と空間CoT学習を関連付ける2段階フレームワークであるSpatialSpeakを紹介する。 ステージIでは、QA-Native Restruction Pretraining (QA-RP)は、細粒度局所幾何学のためのマークポイント3Dクエリと、グローバルなシーンコンテキストのためのオブジェクト中心クエリを組み合わせる。 どちらのタスクもテキストベースの質問応答として定式化され、幾何学的推定とその後の推論で同じ自己回帰出力インタフェースを共有することができる。 ステージIIでは、空間CoTと視覚補償(CoT-VC)がモデルを用いて質問関連幾何推定を表現し、それを用いて回答を導出する。 ReVSIでは、QA-RPはCoT-VCからの利益を2.6ポイントから6.9ポイントに増加させ、局地的およびグローバルな再構築管理が有益であることを示す。 SpaceSpeakは、ReVSI、VSI-Bench、SPAR-Benchの最先端結果を達成する。

関連論文リスト

• A*-Thought-V2: Efficient Latent Reasoning via Geometric Dynamics of LLM [40.07171947823021]
  CoT(Chain-of-Thought)は、LLM(Large Language Models)の推論能力を改善するが、かなりの計算とコンテキストコストを発生させる。 A*-Thought-V2 は LLM ガイドフレームワークの幾何学的ダイナミクスであり,COT を隠れ状態軌道としてモデル化し,ハード削除を明示的かつ単純でインターリーブな潜在アーキテクチャに置き換える。
  論文  参考訳（メタデータ） (2026-09-07T17:56:20Z)
• Reinforcing Dual-Path Reasoning in Spatial Vision Language Models [113.86271063627782]
  本稿では,空間的VLMにLOR(Language-Only Reasoning)とDTR(Detect-Then-Reason)の2つの相補的推論経路を持つ統一的なフレームワークを提案する。 様々な空間ベンチマークにおいて、SR-REALは空間的VLMベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2026-06-16T05:32:39Z)
• Beyond 3D VQAs: Injecting 3D Spatial Priors into Vision-Language Models for Enhanced Geometric Reasoning [24.251128353444713]
  VLM(Vision-Language Models)は、しばしば堅牢な3次元空間推論に苦しむ。 GASP(Geometric Aware Spatial Priors)は,LLMのトランスフォーマー層に直接,基本的な幾何学的事前を注入するフレームワークである。 GASPは、すべての層にまたがる深い監視信号として応用された小さな対応ヘッドを使用し、地上の映像シーンを活用する2つの目的で訓練されている。
  論文  参考訳（メタデータ） (2026-05-28T17:00:52Z)
• Unifying UAV Cross-View Geo-Localization via 3D Geometric Perception [51.687842983240564]
  無人航空機(UAV)のクロスビューな地上局地化は、斜めのUAV画像と衛星地図との厳密な幾何学的相違により、いまだに困難である。 本稿では,3次元シーン形状を明示的にモデル化し,粗い位置認識ときめ細かなポーズ推定を統一する,幾何認識型UAV測位フレームワークを提案する。 提案手法は, 最先端のベースラインを著しく上回り, ロバストメータレベルのローカライゼーション精度を実現し, 複雑な都市環境における一般化を向上する。
  論文  参考訳（メタデータ） (2026-04-02T08:08:41Z)
• SpatialFly: Geometry-Guided Representation Alignment for UAV Vision-and-Language Navigation in Urban Environments [49.966170814478915]
  UAV VLNのための幾何学誘導空間表現フレームワークを提案する。 明示的な3次元再構成を伴わないRGB観測において、SpatialFlyは幾何学誘導2次元表示アライメント機構を導入する。 実験結果から、SpatialFlyは現状のUAV VLNベースラインを目に見える環境と見えない環境の両方で一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-22T03:56:58Z)
• Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
  DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。 そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。 パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
  論文  参考訳（メタデータ） (2025-12-23T17:56:36Z)
• SVQA-R1: Reinforcing Spatial Reasoning in MLLMs via View-Consistent Reward Optimization [57.484274282231226]
  本稿では,R1スタイルのトレーニングを空間VQAに拡張する最初のフレームワークであるSVQA-R1を提案する。 特に,オブジェクト間の空間的関係を摂動させることで,視点に一貫性のある報酬を構成する新しいグループワイドRL戦略であるSpatial-GRPOを紹介する。 我々のモデルSVQA-R1は空間的VQAベンチマークの精度を劇的に向上させるだけでなく、教師付き微調整データを使用しなくても解釈可能な推論経路を示す。
  論文  参考訳（メタデータ） (2025-06-02T06:58:43Z)
• SURDS: Benchmarking Spatial Understanding and Reasoning in Driving Scenarios with Vision Language Models [15.50826328938879]
  視覚言語モデル(VLM)の空間的推論能力を評価するためのベンチマークであるSURDSを紹介する。 nuScenesデータセットに基づいて構築されたSURDSは、41,080の視覚要求回答トレーニングインスタンスと9,250の評価サンプルで構成されている。 本研究では,空間的に接地された報酬信号を利用した強化学習に基づくアライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-11-20T08:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。