論文の概要: From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors

• arxiv url: http://arxiv.org/abs/2510.17439v1
• Date: Mon, 20 Oct 2025 11:26:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.430626
• Title: From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors
• Title（参考訳）: 空間から行動へ:空間ファンデーション前における接地視-言語-行動モデル
• Abstract要約: 既存の視覚言語アクション(VLA)モデルは3Dの現実世界で機能するが、通常は2Dエンコーダ上に構築される。 本研究では,アクションヘッドにリッチな3次元空間トークンを注入する新しいパラダイムであるFALCONを紹介する。
• 参考スコア（独自算出の注目度）: 54.84863164684646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing vision-language-action (VLA) models act in 3D real-world but are typically built on 2D encoders, leaving a spatial reasoning gap that limits generalization and adaptability. Recent 3D integration techniques for VLAs either require specialized sensors and transfer poorly across modalities, or inject weak cues that lack geometry and degrade vision-language alignment. In this work, we introduce FALCON (From Spatial to Action), a novel paradigm that injects rich 3D spatial tokens into the action head. FALCON leverages spatial foundation models to deliver strong geometric priors from RGB alone, and includes an Embodied Spatial Model that can optionally fuse depth, or pose for higher fidelity when available, without retraining or architectural changes. To preserve language reasoning, spatial tokens are consumed by a Spatial-Enhanced Action Head rather than being concatenated into the vision-language backbone. These designs enable FALCON to address limitations in spatial representation, modality transferability, and alignment. In comprehensive evaluations across three simulation benchmarks and eleven real-world tasks, our proposed FALCON achieves state-of-the-art performance, consistently surpasses competitive baselines, and remains robust under clutter, spatial-prompt conditioning, and variations in object scale and height.
• Abstract（参考訳）: 既存の視覚-言語-アクション(VLA)モデルは3次元現実世界で作用するが、通常は2次元エンコーダ上に構築され、一般化と適応性を制限する空間的推論のギャップが残る。 VLAの最近の3D統合技術は、特殊なセンサーを必要とし、モダリティ間での移動が不十分であるか、幾何学や視覚言語によるアライメントを欠いた弱いキューを注入する。 本研究では,アクションヘッドにリッチな3次元空間トークンを注入する新しいパラダイムであるFALCONを紹介する。 FALCONは空間的基礎モデルを活用してRGBのみから強力な幾何学的事前情報を提供する。 言語推論を保存するために、空間強調アクションヘッドは視覚言語バックボーンに連結されるのではなく、空間強調アクションヘッドによって空間トークンを消費する。 これらの設計により、FALCONは空間表現、モダリティ伝達可能性、アライメントの制限に対処できる。 提案したFALCONは,3つのシミュレーションベンチマークと11個の実世界のタスクの総合評価において,最先端の性能を実現し,競争基準を一貫して超越し,粗い空間的条件下では頑健であり,オブジェクトのスケールや高さの変動も大きい。

関連論文リスト

• 3DThinkVLA: Endowing Vision-Language-Action Models with Latent 3D Priors via 3D-Thinking-Guided Co-training [19.5808550016589]
  3次元幾何学的知覚と3次元空間的推論は、異なる特徴階層で切り離され、注入される異なる能力である。 本稿では,視覚言語行動モデル(VLA)が行動予測中に暗黙的に3次元空間推論を行うことを可能にする3次元思考誘導協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-03T04:34:07Z)
• PointACT: Vision-Language-Action Models with Multi-Scale Point-Action Interaction [57.63073414949329]
  我々は,階層的な3Dポイントクラウド表現をアクションデコーディングプロセスに直接統合する,デュアルシステム3D対応VLAポリシーであるPointACTを提案する。 PointACTは、効率的なボトルネックウィンドウ自己アテンションを備えたマルチスケールのポイントアクションインタラクション機構を採用し、進化するアクショントークンが局所的な幾何学的詳細とグローバルなシーン構造の両方に密に関与できるようにする。
  論文  参考訳（メタデータ） (2026-05-20T17:10:31Z)
• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• XEmbodied: A Foundation Model with Enhanced Geometric and Physical Cues for Large-Scale Embodied Environments [26.90783926543698]
  クラウドパイプラインは、幾何学的推論やドメインセマンティクスに欠ける汎用視覚言語モデル(VLM)に依存している。 我々は,本質的な3次元幾何学的認識を伴うVLMを実現するクラウドサイド基盤モデルであるXEmbodiedを提案する。 XEmbodiedは18の公開ベンチマークで堅牢なパフォーマンスを示しながら、一般的な能力を保っている。
  論文  参考訳（メタデータ） (2026-04-20T16:37:16Z)
• LoST: Level of Semantics Tokenization for 3D Shapes [50.847769883816085]
  State-of-the-artメソッドは、もともとレンダリングと圧縮のために設計された幾何学的なレベル・オブ・ディテール(LoD)階層に依存している。 本稿では,初期接頭辞が完全かつ可塑性な形状をデコードするように,サリエンスを指示するレベル・オブ・セマンティックス・トークン化(LoST)を提案する。 LoSTはSOTA再構成を実現し、幾何的および意味的再構成のメトリクスにおいて、従来のLoDベースの3次元形状トークン化器を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2026-03-18T17:56:06Z)
• SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs [21.891285551179365]
  Spherical Coordinate-based Positional Embedding (SoPE)を紹介する。 本手法は,3次元球面座標空間に点-クラウドトークンのインデックスをマッピングし,空間位置と方向角の統一モデリングを可能にする。 この定式化は、点クラウドデータの固有の幾何学的構造を保持し、空間的認識を高め、マルチモーダル学習のためのより一貫性があり表現力のある幾何学的表現をもたらす。
  論文  参考訳（メタデータ） (2026-02-26T07:42:15Z)
• Spa3R: Predictive Spatial Field Modeling for 3D Visual Reasoning [43.746951848993035]
  空間知能は、明示的な空間的インストラクションチューニングによって課されるのではなく、2次元視覚のみから現れる。 本稿では,未提示のマルチビュー画像から直接,空間表現の統一化を学習する,自己教師型フレームワークであるSpa3Rを紹介する。 実験では、Spa3-VLMが3D VQAで58.6%の最先端の精度を達成し、従来の方法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-02-24T18:37:34Z)
• Lemon: A Unified and Scalable 3D Multimodal Model for Universal Spatial Understanding [80.66591664266744]
  Lemonは3Dポイントクラウドパッチと言語トークンを単一のシーケンスとして処理する統合トランスフォーマーアーキテクチャである。 3次元データの複雑さに対処するため,空間的コンテキストを保存するための構造化パッチやトークン化方式を開発した。 Lemonは、総合的な3D理解と推論タスクにまたがって、最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2025-12-14T20:02:43Z)
• ReSem3D: Refinable 3D Spatial Constraints via Fine-Grained Semantic Grounding for Generalizable Robotic Manipulation [12.059517583878756]
  本稿では,意味的に多様な環境に対する統一的な操作フレームワークReSem3Dを提案する。 本稿では,ReSem3Dがゼロショット条件下で多様な操作を行い,適応性と一般化性を示すことを示す。
  論文  参考訳（メタデータ） (2025-07-24T10:07:31Z)
• Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding [11.222744122842023]
  本稿では、3次元幾何学的特徴を暗黙的にVision-Language-Action(VLA)モデルに組み込むプラグイン・アンド・プレイ・モジュールを提案する。 提案手法は,様々なシナリオにおける最先端VLAモデルの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-07-01T04:05:47Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)
• MetaSpatial: Reinforcing 3D Spatial Reasoning in VLMs for the Metaverse [8.249725689628923]
  視覚言語モデル(VLM)における3次元空間推論の強化を目的とした,最初の強化学習ベースのフレームワークであるMetaSpatialを提案する。 我々のキーとなる革新はマルチターン RL ベースの最適化機構で、物理認識の制約とレンダリングされた画像評価を統合し、生成した3Dレイアウトが整合的で、物理的に妥当で、審美的に整合していることを保証する。
  論文  参考訳（メタデータ） (2025-03-24T09:18:01Z)
• Cross-Modal and Uncertainty-Aware Agglomeration for Open-Vocabulary 3D Scene Understanding [58.38294408121273]
  CUA-O3Dと呼ばれるオープン語彙3次元シーン理解のためのクロスモーダル・不確実性認識アグリゲーションを提案する。 提案手法は,(1)空間認識型視覚基盤モデルの幾何学的知識とともに,VLMのセマンティックな先入観を取り入れること,(2)モデル固有の不確かさを捉えるために,新しい決定論的不確実性推定を用いること,の2つの課題に対処する。
  論文  参考訳（メタデータ） (2025-03-20T20:58:48Z)
• GEAL: Generalizable 3D Affordance Learning with Cross-Modal Consistency [50.11520458252128]
  既存の3Dアベイランス学習手法は、注釈付きデータに制限があるため、一般化と堅牢性に苦慮している。 本稿では,大規模事前学習型2Dモデルを活用することで,3次元アベイランス学習の一般化と堅牢性を高めるための新しいフレームワークであるGEALを提案する。 GEALは、既存のメソッドと、新しいオブジェクトカテゴリ、および破損したデータにおいて、一貫して優れています。
  論文  参考訳（メタデータ） (2024-12-12T17:59:03Z)
• REVISION: Rendering Tools Enable Spatial Fidelity in Vision-Language Models [67.55362046790512]
  視覚言語モデルには、空間的関係を正しく推論する能力がない。 視覚言語モデルにおける空間忠実度を改善するREVISIONフレームワークを開発した。 本研究の結果から,レンダリングベースのフレームワークは空間認識モデルの開発に有効な手法であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-05T04:51:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。