論文の概要: Chain of Spatial Thoughts: Modality-Agnostic Spatial Grounding for Vision Language Models

• arxiv url: http://arxiv.org/abs/2608.10278v1
• Date: Mon, 10 Aug 2026 22:20:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.831132
• Title: Chain of Spatial Thoughts: Modality-Agnostic Spatial Grounding for Vision Language Models
• Title（参考訳）: 空間的思考の連鎖:視覚言語モデルのためのモダリティ非依存空間的グラウンドリング
• Abstract要約: 本研究では,空間表現を明示した視覚言語モデルを備えた軽量でアーキテクチャに依存しないフレームワークであるSpace Tokensを紹介する。 シーンレベルの3次元形状とオブジェクト中心の空間特性を連続的な潜在トークンに蒸留することにより、これらのモダリティをチェーンオブ思考の推論プロセスに直接組み込むことができる。 その結果、連続的な空間トークンは、幾何学的推論を大きな視覚言語モデルに統合する効果的な、解釈可能な、計算的に効率的なメカニズムを提供することが示された。
• 参考スコア（独自算出の注目度）: 16.417990770250146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatial understanding is fundamental to embodied intelligence, underpinning applications such as robotic manipulation, embodied navigation, and autonomous driving. Although recent vision-language models (VLMs) have achieved impressive performance on spatial reasoning benchmarks, state-of-the-art approaches typically rely on additional spatial encoders or architectural modifications during inference, increasing computational cost. We introduce Space Tokens, a lightweight, architecture-agnostic framework that equips VLMs with explicit continuous spatial representations without requiring additional inference-time modules. By distilling scene-level 3D geometry and object-centric spatial attributes into continuous latent tokens, our method enables these modalities to be directly incorporated into a chain-of-thought reasoning process, thereby improving the VLM's spatial reasoning capabilities. At the same time, the learned representations can be explicitly decoded to verify that they encode meaningful geometric information, while the unified token interface remains extensible to additional modalities. Experiments on VSI-Bench improve Qwen3-VL-8B by 4.3% and SenseNova-SI-1.3 by 1.3%, while achieving state-of-the-art performance on object size (79.2%) and room size estimation (75.7%). These results demonstrate that continuous spatial tokens provide an effective, interpretable, and computationally efficient mechanism for integrating geometric reasoning into large vision-language models.
• Abstract（参考訳）: 空間的理解はインテリジェンスを具現化し、ロボット操作、エンボディナビゲーション、自律運転などの応用の基盤となる。 近年の視覚言語モデル (VLM) は空間推論のベンチマークにおいて顕著な性能を達成しているが、最先端のアプローチは推論中に空間エンコーダやアーキテクチャの変更を追加し、計算コストを増大させるのが一般的である。 本研究では,空間表現を明示的に連続する空間表現と,追加の推論時モジュールを必要としない軽量でアーキテクチャに依存しないフレームワークであるSpace Tokensを紹介する。 シーンレベルの3次元形状とオブジェクト中心の空間属性を連続的な潜在トークンに蒸留することにより、これらのモダリティをチェーンオブ思考推論プロセスに直接組み込むことで、VLMの空間推論能力を向上させることができる。 同時に、学習した表現を明示的にデコードして、意味のある幾何学的情報をエンコードしていることを確認することができ、一方、統一トークンインターフェースは追加のモダリティに拡張可能である。 VSI-Benchの実験はQwen3-VL-8Bを4.3%改善し、SenseNova-SI-1.3を1.3%改善した。 これらの結果は、連続空間トークンが、幾何学的推論を大きな視覚言語モデルに統合する効果的な、解釈可能な、そして計算的に効率的なメカニズムを提供することを示した。

関連論文リスト

• SpatioLM: Towards General Physical Spatial Intelligence in Vision-Language Models [19.19065314413351]
  パラメータ効率の良いtextittextbfSpatio-vision textbfLanguage bftextModels (SpatioLM) を提案する。 我々は,VLMに固有の空間的知識を取り入れた,プラグアンドプレイで非侵襲的なモジュールを設計する。 実験の結果,空間認識や理解などの多様なタスクにおいて,SpatioLMは顕著な改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2026-08-03T08:36:18Z)
• SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video [88.79625979053873]
  事前学習型視覚言語モデル(VLM)のための新しいフレームワークSpaceEraを提案する。 データ構築、モデル設計、トレーニング最適化、推論の促進にまたがる、SpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張します。 さらに,空間的推論を強化するために,絶対座標と相対空間関係を協調的に利用することにより,対物制約を強制するSpaceAlignを開発した。
  論文  参考訳（メタデータ） (2026-07-02T06:56:29Z)
• SpatialSV: Internalizing Interpretable 3D Spatial Awareness in MLLMs via Task-Oriented Visual Supervision [12.336413790708738]
  大規模言語モデル(MLLM)の空間知能は,3次元世界を理解する上で重要である。 本研究では,MLLMの内部で頑健な3次元空間認識を実現するためのフレームワークであるSpatialSVを提案する。
  論文  参考訳（メタデータ） (2026-06-18T08:09:32Z)
• SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning [99.49739831030388]
  このインタフェースの設計は,オープンエンド空間推論のためのエージェントのキャパシティをいかに形作るかを検討する。 本研究では,アクションインタフェースとしてコードを採用する空間推論のためのトレーニングフリーフレームワークであるSpatialClawを提案する。
  論文  参考訳（メタデータ） (2026-06-11T17:59:36Z)
• GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation [75.85672467847631]
  本稿では,3次元のコンパクトな特徴表現であるGeometry-Aware BEV (GA-BEV)を紹介する。 視覚的特徴を3次元空間に投影することで,RGB-D入力からBEV空間マップを構築する。 我々は,BEV空間に事前訓練された3Dファンデーションモデルの特徴を取り入れ,大規模3D再構築作業から学んだ構造的先行を注入する。
  論文  参考訳（メタデータ） (2026-05-21T06:20:17Z)
• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• Towards Foundation Models for 3D Scene Understanding: Instance-Aware Self-Supervised Learning for Point Clouds [53.82500407523346]
  PointINSは、幾何学的学習を通じてポイントクラウド表現を豊かにする、インスタンス指向の自己組織化フレームワークである。 PointINSは、屋内のインスタンスセグメンテーションで平均+3.5%のmAP改善、屋外のパン光学セグメンテーションで+4.1%のPQゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-26T08:31:06Z)
• ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
  視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。 現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。 マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:26Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。