論文の概要: Bridge3D: Enabling Vision-Language-Action Models to See and Act in 3D

• arxiv url: http://arxiv.org/abs/2609.24525v1
• Date: Mon, 21 Sep 2026 12:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 15:08:24.065289
• Title: Bridge3D: Enabling Vision-Language-Action Models to See and Act in 3D
• Title（参考訳）: Bridge3D:3Dで見る、行動するビジョン・ランゲージ・アクション・モデル
• Abstract要約: Bridge3Dは暗黙的および明示的な3D幾何ガイダンスを事前訓練された2D VLAモデルに統合する。 実験により,Bridge3Dは最先端の手法に対して優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 39.73512282069739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models have demonstrated remarkable generalization in robotic manipulation via large-scale multimodal pretraining. However, VLA models are mainly trained on 2D-centric observations, which inherently constrains their capacity for precise spatial manipulation. Previous methods enhance 3D awareness by introducing implicit spatial priors, but still lack explicit geometry guidance. In this paper, we propose Bridge3D that integrates both implicit and explicit 3D geometry guidance into pre-trained 2D VLA models, enabling them to ''see'' and ''act'' in 3D. Bridge3D introduces two strategies: 1) Implicit Fusion, which enriches visual tokens with features from 3D foundation models to improve ''seeing'' in 3D; 2) Explicit Conditioning, which integrates action denoising with an explicit 3D semantic field to achieve ''acting'' in 3D. Furthermore, we utilize the proposed layer-wise linear probing to improve learning efficiency. Experiments show that Bridge3D achieves superior performance against state-of-the-art methods. On the RoboTwin 2.0 benchmark, Bridge3D exceeds $π_0$ by 14.0 percentage points, while in real-world experiments, it outperforms Spatial Forcing by 11.7 percentage points. These results demonstrate Bridge3D's strong capabilities in high-precision and spatial-sensitive manipulation tasks.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルでは,大規模マルチモーダルプレトレーニングによるロボット操作の大幅な一般化が示されている。 しかしながら、VLAモデルは、主に2D中心の観測に基づいて訓練されており、これは本質的に、正確な空間操作のためにその能力を制限する。 従来の手法は、暗黙の空間的前兆を導入することによって3D認識を高めるが、それでも明確な幾何学的ガイダンスは欠如している。 本稿では,暗黙的かつ明示的な3Dジオメトリガイダンスを事前学習した2D VLAモデルに統合し,それらが3Dで'see'と'act'できるブリッジ3Dを提案する。 Bridge3Dは2つの戦略を導入している。 1)インプリシット・フュージョン(Implicit Fusion)は、3Dファウンデーションモデルの特徴により視覚トークンを豊かにし、3Dにおける「見る」を改善する。 2) 明示的条件付け(Explicit Conditioning)は,3Dにおける「動作」を達成するために,明示的な3D意味領域と行動記述を統合している。 さらに,提案手法を用いて学習効率の向上を図る。 実験により,Bridge3Dは最先端の手法に対して優れた性能を発揮することが示された。 RoboTwin 2.0ベンチマークでは、Bridge3Dはπ_0$を14.0ポイント上回り、実際の実験では11.7ポイント上回る。 これらの結果は,Bridge3Dの高精度かつ空間感応的な操作機能を示すものである。

関連論文リスト

• 3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints [92.67359514804048]
  中間表現は、一般化可能な操作ポリシーと大規模事前訓練された視覚言語モデルの間のモダリティギャップを埋める鍵となる。 多視点画像から3次元一貫した経路点(3DWay)を予測することを提案する。 3次元の経路点予測を多視点一貫した2次元の経路点の生成として再構成し、幾何学的三角法により、明示的な3次元運動仕様を実現する。
  論文  参考訳（メタデータ） (2026-09-08T04:18:46Z)
• Any2Point: Empowering Any-modality Large Models for Efficient 3D Understanding [83.63231467746598]
  我々は,Any2Pointというパラメータ効率のよい大規模モデル(ビジョン,言語,音声)を3次元理解に活用する手法を紹介した。 入力された3Dポイントと元の1Dまたは2D位置との相関関係を示す3D-to-any (1Dまたは2D)仮想プロジェクション戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-11T17:59:45Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation [18.964403296437027]
  Act3Dは、手作業に依存する適応的な解像度を持つ3D特徴体を用いて、ロボットのワークスペースを表現する。 粗い方法で3Dポイントグリッドをサンプリングし、相対的な位置の注意を使ってそれらを巧みに加工し、次の点サンプリングのラウンドにフォーカスする場所を選択する。
  論文  参考訳（メタデータ） (2023-06-30T17:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。