論文の概要: SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile Manipulation

• arxiv url: http://arxiv.org/abs/2603.22760v1
• Date: Tue, 24 Mar 2026 03:44:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.28469
• Title: SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile Manipulation
• Title（参考訳）: SG-VLA:移動操作のための空間的に取り囲む視覚・言語・行動モデル学習
• Authors: Ruisen Tu, Arth Shukla, Sohyun Yoo, Xuanlin Li, Junxi Li, Jianwen Xie, Hao Su, Zhuowen Tu,
• Abstract要約: VLA(Vision-Language-Action)モデルは、ロボット制御の可能性を秘めているが、複雑な家庭環境におけるパフォーマンスは、まだ準最適である。 モバイル操作には、グローバルなシーンレイアウト、きめ細かい形状、高次元連続的な動作の推論が必要である。 知覚と表現を強化する空間的接地型VLAモデルの学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.77409401429281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models show promise for robotic control, yet performance in complex household environments remains sub-optimal. Mobile manipulation requires reasoning about global scene layout, fine-grained geometry, and high-dimensional continuous actions, making standard imitation learning insufficient. We introduce a framework for learning spatially-grounded VLA models that strengthens perception and representation through auxiliary task co-training and multi-modal input enhancement. Our method addresses the challenge of controlling a 13-dimensional action space involving coordinated base motion, arm articulation, and gripper actuation. To enrich spatial understanding, the model incorporates multi-view RGB observations, depth cues, and short temporal history, providing perspectives of both global scene structure and local manipulation context. To improve representation quality, we co-train auxiliary decoders that reconstruct interpretable intermediate signals - including global robot position, joint configurations, grasp affordances, target-object relative pose, and segmentation masks - from shared visual-language features. These objectives provide dense supervision that encourages the backbone to develop spatially grounded, manipulation-aware latent representations. Through extensive evaluation on home rearrangement tasks, our approach achieves consistent improvements across picking, placing, opening, and closing operations, substantially outperforming direct imitation learning. Our findings suggest that spatial grounding through auxiliary and multi-modal learning provides a strong direction for scaling VLA models toward general-purpose domestic robots.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、ロボット制御の可能性を秘めているが、複雑な家庭環境におけるパフォーマンスは、まだ準最適である。 モバイル操作では、グローバルなシーンレイアウト、きめ細かい形状、高次元の連続的な動作を推論する必要があるため、標準的な模倣学習は不十分である。 本稿では,補助的タスク協調学習とマルチモーダル入力強化を通じて知覚と表現を強化する空間接地型VLAモデルの学習フレームワークを提案する。 本手法は, 協調動作, 腕関節, 握手動作を含む13次元動作空間を制御することの課題に対処する。 空間的理解を深めるために、このモデルは多視点RGB観測、深度キュー、短時間履歴を取り入れ、グローバルなシーン構造と局所的な操作コンテキストの両方の視点を提供する。 視覚的特徴の共有から,グローバルロボットの位置,関節構成,可読性,ターゲットオブジェクトの相対的なポーズ,セグメンテーションマスクなどの解釈可能な中間信号を再構成する補助デコーダを共用する。 これらの目的は、バックボーンが空間的に接地された操作を意識した潜伏表現を開発することを奨励する密集した監視を提供する。 ホームアレンジメントタスクの広範囲な評価を通じて,本手法は,ピック,プレース,オープニング,クローズ操作における一貫した改善を実現し,直接模倣学習を著しく上回っている。 本研究は, 補助学習とマルチモーダル学習による空間的接地が, VLAモデルを一般家庭用ロボットに拡張するための強力な方向となることを示唆している。

関連論文リスト

• Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
  既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。 本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。 我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
  論文  参考訳（メタデータ） (2026-02-23T11:00:08Z)
• Revisiting Multi-Task Visual Representation Learning [52.93947931352643]
  本稿では,マルチタスク・ビジュアル事前学習フレームワークであるMTVを紹介する。 我々は、高容量の「エキスパート」モデルを利用して、高密度で構造化された擬似ラベルを大規模に合成する。 以上の結果から,MTV が "Best-of-both-worlds" のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-01-20T11:59:19Z)
• PosA-VLA: Enhancing Action Generation via Pose-Conditioned Anchor Attention [92.85371254435074]
  PosA-VLAフレームワークは、ポーズ条件付き監視を通じて視覚的注意を保ち、タスク関連領域に対するモデルの認識を一貫して導く。 本手法は,多様なロボット操作ベンチマークにおいて,正確かつ時間効率のよい動作を実施できることを示す。
  論文  参考訳（メタデータ） (2025-12-03T12:14:29Z)
• ReconVLA: Reconstructive Vision-Language-Action Model as Effective Robot Perceiver [35.25196177784228]
  本稿では,暗黙的な基礎パラダイムを持つ再構成型VLAモデルReconVLAを提案する。 拡散変換器は、モデルの視覚出力に基づいて画像の視線領域を再構成する。 このプロセスにより、VLAモデルはきめ細かい表現を学習し、視覚的注意を正確に割り当てる。
  論文  参考訳（メタデータ） (2025-08-14T04:20:19Z)
• DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [41.030494146004806]
  本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。 DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。 実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
  論文  参考訳（メタデータ） (2025-07-06T16:14:29Z)
• Hierarchical Language Models for Semantic Navigation and Manipulation in an Aerial-Ground Robotic System [8.88014241557266]
  不均一なマルチロボットシステムは、協調的なハイブリッド協調を必要とする複雑なタスクにおいて大きな可能性を示す。 静的またはタスク固有のモデルに依存する既存のメソッドは、様々なタスクや動的環境にまたがる一般化性に欠けることが多い。 本稿では,大規模言語モデル (LLM) と微調整型視覚言語モデル (VLM) を統合した階層型マルチモーダルフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-05T13:27:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。