論文の概要: Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World

• arxiv url: http://arxiv.org/abs/2609.23038v1
• Date: Sat, 19 Sep 2026 14:13:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.652346
• Title: Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World
• Title（参考訳）: 空間インタラクタ:観測可能な物理世界との相互作用による空間推論の学習
• Abstract要約: 本稿では、視覚言語モデル(VLM)をトレーニングし、インタラクションを通じて物理世界の状態遷移をモデル化するフレームワークを提案する。 本研究では,シミュレーションおよび実相互作用軌道から空間相互作用データセット(LSI-108K)を構築する。 実験は局所遷移モデリングと長期統合において一貫した利得を示す。
• 参考スコア（独自算出の注目度）: 25.374416417973208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial reasoning is essential for vision-language models (VLMs) to understand and act in the physical world. Reasoning in dynamic environments requires VLMs to perceive local state transitions caused by object motion and viewpoint changes and integrate them over long trajectories to maintain an updated spatial state, yet existing VLMs remain limited in both capabilities. Current spatial training primarily focuses on static questions about object attributes and spatial relations, providing limited direct supervision for state transitions; in contrast, interaction trajectories naturally connect a preceding observation, an action, and a subsequent observation, offering direct supervision for local state transitions, while complete trajectories reveal dependencies among consecutive transitions. We therefore introduce Spatial-Interactor, a framework that trains VLMs to model physical-world state transitions through interaction, organizing this learning process into a three-level curriculum covering L1 passive world-state transitions, L2 active self-state transitions, and L3 long-horizon interaction trajectories. Accordingly, we construct the Learning from Spatial Interaction dataset (LSI-108K) from simulated and real interaction trajectories, with tasks aligned with the objective of each level. Our two-stage training strategy applies Supervised Fine-Tuning (SFT) to L1 and L2 for local transition modeling, and On-Policy Distillation (OPD) then uses privileged self-distillation: a teacher branch given segment-level transition descriptions supervises the student's on-policy CoT, helping the student learn to integrate consecutive transitions over L3 long trajectories. Experiments across multiple VLMs and spatial benchmarks show consistent gains in local transition modeling and long-horizon integration.
• Abstract（参考訳）: 空間推論は視覚言語モデル(VLM)にとって物理世界での理解と行動に不可欠である。 動的環境下での推論では、VLMは物体の動きや視点の変化によって生じる局所的な状態遷移を知覚し、それらを長い軌道上で統合して更新された空間状態を維持する必要があるが、既存のVLMは両方の能力で制限されている。 現在の空間訓練は、主に物体の属性と空間的関係に関する静的な質問に焦点をあて、状態遷移の直接的な監督を限定している;対照的に、相互作用軌道は、前回の観測、行動、およびその後の観測を自然に結び付け、局所的な状態遷移の直接的な監督を提供し、完全な軌道は連続的な遷移間の依存関係を明らかにする。 そこで本研究では,VLMの相互作用による物理世界状態遷移をモデル化するためのフレームワークであるSpatial-Interactorを紹介し,この学習プロセスをL1受動的世界状態遷移,L2能動的自己状態遷移,L3長距離相互作用軌道を含む3段階のカリキュラムに編成する。 そこで我々は,各レベルの目的に合わせたタスクを用いて,シミュレーションと実インタラクションの軌跡からLSI-108K(Learning from Spatial Interaction dataset)を構築する。 我々の2段階の教育戦略は、局所的な遷移モデリングにスーパーバイザード・ファイン・チューニング(SFT)をL1とL2に適用し、また、オン・ポリシィ蒸留(OPD)は特権的な自己蒸留を使用する。 複数のVLMと空間的ベンチマークによる実験は、局所遷移モデリングと長期統合において一貫した利得を示している。

関連論文リスト

• Traj-VLN: Learning Pixel-Space Interaction via Autoregressive Trajectory Generation [5.0211517769291065]
  本研究では,2次元画素空間におけるナビゲーション操作を直接学習するための微調整型視覚言語モデルを提案する。 我々のモデルは一連の画素座標を逐次予測し、現在の観測の中心から軌道を引いた。
  論文  参考訳（メタデータ） (2026-07-12T12:54:44Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• SpaAct: Spatially-Activated Transition Learning with Curriculum Adaptation for Vision-Language Navigation [40.318940817058746]
  Vision-and-Language Navigation (VLN)は、インボディードエージェントが自然言語の指示に従い、目に見えない3D環境のターゲット場所へナビゲートできるようにすることを目的としている。 我々は、VLMをVLNに適応させるには、そのような認識を得るための2つの補完的な能力を与える必要があると論じている。 本稿では,VLMにおける動的空間認識を活性化するトレーニングフレームワークであるSpaActを提案する。
  論文  参考訳（メタデータ） (2026-04-30T09:09:40Z)
• LaST-VLA: Thinking in Latent Spatio-Temporal Space for Vision-Language-Action in Autonomous Driving [21.38662345656532]
  VLA(Vision-Language-Action)モデルは、認識と計画の統合によって自動運転に革命をもたらした。 明示的なテキスト・オブ・ワット(CoT)への依存は、意味的・知覚的疎結合と知覚的・象徴的対立につながる。 潜在的推論への最近のシフトは、連続的な隠れ空間で考えることによって、これらのボトルネックを回避しようとする。
  論文  参考訳（メタデータ） (2026-03-02T14:42:36Z)
• ST4VLA: Spatially Guided Training for Vision-Language-Action Models [80.35847468618276]
  大規模視覚言語モデル(VLM)はマルチモーダル理解において優れるが、具体化されたタスクに拡張されると不足する。 本稿では,動作学習と空間的先行時間との整合性を実現するための2元系ビジョン・ランゲージ・アクション・フレームワークST4VLAを紹介する。 ST4VLAは、Google Robotでは66.1 -> 84.6、WidowX Robotでは54.7 -> 73.2、バニラVLAよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-02-10T18:59:17Z)
• Beyond Global Alignment: Fine-Grained Motion-Language Retrieval via Pyramidal Shapley-Taylor Learning [56.6025512458557]
  動き言語検索は、自然言語と人間の動きの間の意味的ギャップを埋めることを目的としている。 既存のアプローチは主に、全動作シーケンスとグローバルテキスト表現の整合性に重点を置いている。 本研究では,微粒な動き言語検索のためのPST学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T16:00:12Z)
• Navigating Motion Agents in Dynamic and Cluttered Environments through LLM Reasoning [69.5875073447454]
  本稿では,大規模言語モデル(LLM)によって強化された動作エージェントを,動的・乱雑な環境における自律的なナビゲーションに向けて前進させる。 トレーニング不要なフレームワークは、マルチエージェント調整、クローズドループ計画、動的障害物回避を、リトレーニングや微調整なしでサポートしています。
  論文  参考訳（メタデータ） (2025-03-10T13:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。