論文の概要: Relational Spatial Alignment for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.24705v1
- Date: Sat, 17 Oct 2026 14:08:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 16:51:31.167903
- Title: Relational Spatial Alignment for Vision-Language-Action Models
- Title(参考訳): 視覚・言語・行動モデルにおける関係空間アライメント
- Abstract要約: 既存のアプローチは、その表現を事前訓練された3D基礎モデルと直接整合させることで、視覚言語アクション(VLA)モデルへの3D認識を符号化する。
モデルの本来の表現性を損なうことなく、3次元空間認識を注入できる表現アライメント法を提案する。
- 参考スコア(独自算出の注目度): 13.870335561260807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial understanding is essential for robots to perceive their surrounding environments and execute actions. Existing approaches typically encode 3D awareness into vision-language-action (VLA) models by directly aligning their representations with pre-trained 3D foundation models. However, we observe that such direct geometric feature alignment essentially exploits 3D foundation priors as a form of low-rank regularization in the feature space, resulting in severe rank collapse of the pre-trained VLA representations. In contrast, we shift the focus from enforcing point-wise equality to aligning pair-wise relationships. We propose a representation-alignment method that enables the injection of 3D spatial awareness without compromising the model's original expressivity. Extensive experiments on public benchmarks, our new spatial reasoning benchmark, and real-world manipulation scenarios demonstrate that our approach effectively incorporates 3D spatial representations into VLA reasoning, achieving robust performance and enhanced spatial awareness across diverse manipulation tasks.
- Abstract(参考訳): ロボットが周囲の環境を理解し、行動を実行するためには、空間的理解が不可欠である。
既存のアプローチは、視覚言語アクション(VLA)モデルへの3D認識を、訓練済みの3D基礎モデルと直接的に一致させることによって符号化する。
しかし、このような直接幾何学的特徴アライメントは、特徴空間における低ランク正規化の一形態として、基本的に3次元基礎の先行を生かし、事前訓練されたVLA表現の厳密なランク崩壊をもたらす。
対照的に、焦点をポイントワイド平等を強制することからペアワイド関係の整合にシフトする。
モデルの本来の表現性を損なうことなく、3次元空間認識を注入できる表現アライメント法を提案する。
提案手法は,VLA推論に3次元空間表現を効果的に取り入れ,頑健な性能を実現し,多様な操作課題にまたがって空間認識の向上を図っている。
関連論文リスト
- SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video [88.79625979053873]
事前学習型視覚言語モデル(VLM)のための新しいフレームワークSpaceEraを提案する。
データ構築、モデル設計、トレーニング最適化、推論の促進にまたがる、SpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張します。
さらに,空間的推論を強化するために,絶対座標と相対空間関係を協調的に利用することにより,対物制約を強制するSpaceAlignを開発した。
論文 参考訳(メタデータ) (2026-07-02T06:56:29Z) - 3DThinkVLA: Endowing Vision-Language-Action Models with Latent 3D Priors via 3D-Thinking-Guided Co-training [19.5808550016589]
3次元幾何学的知覚と3次元空間的推論は、異なる特徴階層で切り離され、注入される異なる能力である。
本稿では,視覚言語行動モデル(VLA)が行動予測中に暗黙的に3次元空間推論を行うことを可能にする3次元思考誘導協調学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-03T04:34:07Z) - VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。
既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。
DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
論文 参考訳(メタデータ) (2026-05-11T12:44:26Z) - Towards Foundation Models for 3D Scene Understanding: Instance-Aware Self-Supervised Learning for Point Clouds [53.82500407523346]
PointINSは、幾何学的学習を通じてポイントクラウド表現を豊かにする、インスタンス指向の自己組織化フレームワークである。
PointINSは、屋内のインスタンスセグメンテーションで平均+3.5%のmAP改善、屋外のパン光学セグメンテーションで+4.1%のPQゲインを達成している。
論文 参考訳(メタデータ) (2026-03-26T08:31:06Z) - Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。
本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。
我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文 参考訳(メタデータ) (2026-02-23T11:00:08Z) - From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors [54.84863164684646]
既存の視覚言語アクション(VLA)モデルは3Dの現実世界で機能するが、通常は2Dエンコーダ上に構築される。
本研究では,アクションヘッドにリッチな3次元空間トークンを注入する新しいパラダイムであるFALCONを紹介する。
論文 参考訳(メタデータ) (2025-10-20T11:26:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。