論文の概要: Direct Action-Head Injection of A Grounded 3D Point Unlocks Spatial and Task Generalization
- arxiv url: http://arxiv.org/abs/2606.27663v1
- Date: Fri, 26 Jun 2026 02:44:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.354097
- Title: Direct Action-Head Injection of A Grounded 3D Point Unlocks Spatial and Task Generalization
- Title（参考訳）: 接地された3次元点の直接行動-頭部注入は空間とタスクの一般化をアンロックする
- Abstract要約: Vision-Language-Action (VLA)モデルは、柔軟なロボット操作のために大規模な視覚言語事前訓練を利用する。
それらは2つの軸に沿って不安定なままであり、空間的一般化、物体の位置が訓練中に見られるものと異なる場合、タスク一般化、慣れ親しんだシーンと異なる言語命令がペアリングされる場合である。
本稿では、3次元のグラウンド信号を表す軽量なモデルに依存しないモジュールを提案し、グリップへの相対変位を計算し、その結果をアクションヘッドに直接注入する。
- 参考スコア（独自算出の注目度）: 6.3170928681089995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language-Action (VLA) models leverage large-scale vision-language pretraining for flexible robot manipulation, yet at test time they remain brittle along two axes: spatial generalization, when object positions differ from those seen during training, and task generalization, when a familiar scene is paired with a different language instruction than the one seen in training. A growing family of methods addresses this brittleness by endowing a policy with the spatial and task-aware information such as 2D pixel-coordinate for object localization and placement. However, we find that existing representation through language prompting or visual prompting does not address the limitations; in contrast, exploiting a 3D point-based representation and feeding it directly to the action head leads to substantial improvements-revealing that how the grounding signal is represented and injected into the VLA is the true game changer. Thus, we propose a lightweight, model-agnostic module that represents the grounding signal in 3D, computes its relative displacement to the gripper, and injects the resulting spatial embedding directly into the action head through adaptive layer normalization. The entire module is a two-layer MLP that requires no changes to the VLA backbone or pretraining pipeline. On LIBERO-PRO, our method improves the average success rate of GR00T-N1.6 from 31.2 to 77.5 points under task perturbation and from 28.1 to 60.2 points under position perturbation (gains of 46.3 and 32.1 points). Comparable gains are achieved for $π_{0.5}$ as well, demonstrating that the mechanism is backbone-agnostic. Together, these results support our central finding: given adequate grounding lifted into 3D, injecting it directly into the action head is what unlocks both spatial and task generalization in VLAs-achievable with nothing more than a lightweight module on top of a pretrained backbone.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、柔軟なロボット操作のために大規模な視覚言語事前訓練を利用するが、テスト時には2つの軸に沿って不安定なままである。
成長するメソッドのファミリーは、オブジェクトのローカライゼーションと配置のための2Dピクセルコーディネートのような空間的およびタスク対応の情報を持つポリシーを付与することで、この脆さに対処する。
対照的に、3Dポイントベースの表現を活用してアクションヘッドに直接供給することで、接地信号がどのように表現され、VLAに注入されるかが真のゲームチェンジャーであることを、大幅に改善する。
そこで本研究では,3次元のグラウンド信号を表す軽量でモデルに依存しないモジュールを提案し,グリップへの相対変位を計算し,適応層正規化により,結果として生じる空間埋め込みを直接アクションヘッドに注入する。
モジュール全体が2層MLPであり、VLAバックボーンやプレトレーニングパイプラインを変更する必要はない。
LIBERO-PROでは,タスク摂動時のGR00T-N1.6の平均成功率を31.2から77.5点,位置摂動時の28.1から60.2点(46.3,32.1点)に改善する。
比較可能なゲインは$π_{0.5}$でも達成され、メカニズムがバックボーンに依存しないことが証明される。
適切な接地を3Dに引き上げると、アクションヘッドに直接注入すると、VLAの空間的およびタスクの一般化が解放される。
関連論文リスト
- Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting [4.473350810262674]
身体的移動操作には、言語、視覚的観察、3次元のシーン構造、実行前にアライメントされる動作の実現性が必要である。
本研究では,局所的な作業空間における少数ショット操作によるオープンボキャブラリターゲットグラウンドディングについて検討し,具体化されたマルチモーダルグラウンドディングフレームワークを提案する。
タスク駆動のローカルセマンティック3DGSは、アクティブセンシング、言語条件の3Dローカライゼーション、障害物認識シーン推論、ベース準備、アクションモデルのセマンティックコンディショニングをまたいだ共有インターフェースとして機能する。
論文 参考訳（メタデータ） (2026-08-11T10:16:30Z) - Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation [76.16065370700488]
We introduced Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and possible temporally coherent action generation。
我々は,Lift3D-VLAがMetaWorldとRLBenchの平均成功率を10.8%,11.1%向上したことを示す。
論文 参考訳（メタデータ） (2026-07-07T17:59:47Z) - Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。
マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。
LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
論文 参考訳（メタデータ） (2026-06-10T23:56:01Z) - 3DThinkVLA: Endowing Vision-Language-Action Models with Latent 3D Priors via 3D-Thinking-Guided Co-training [19.5808550016589]
3次元幾何学的知覚と3次元空間的推論は、異なる特徴階層で切り離され、注入される異なる能力である。
本稿では,視覚言語行動モデル(VLA)が行動予測中に暗黙的に3次元空間推論を行うことを可能にする3次元思考誘導協調学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-03T04:34:07Z) - PointACT: Vision-Language-Action Models with Multi-Scale Point-Action Interaction [57.63073414949329]
我々は,階層的な3Dポイントクラウド表現をアクションデコーディングプロセスに直接統合する,デュアルシステム3D対応VLAポリシーであるPointACTを提案する。
PointACTは、効率的なボトルネックウィンドウ自己アテンションを備えたマルチスケールのポイントアクションインタラクション機構を採用し、進化するアクショントークンが局所的な幾何学的詳細とグローバルなシーン構造の両方に密に関与できるようにする。
論文 参考訳（メタデータ） (2026-05-20T17:10:31Z) - VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。
既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。
DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
論文 参考訳（メタデータ） (2026-05-11T12:44:26Z) - Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。
本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。
我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文 参考訳（メタデータ） (2026-02-23T11:00:08Z) - ST4VLA: Spatially Guided Training for Vision-Language-Action Models [80.35847468618276]
大規模視覚言語モデル(VLM)はマルチモーダル理解において優れるが、具体化されたタスクに拡張されると不足する。
本稿では,動作学習と空間的先行時間との整合性を実現するための2元系ビジョン・ランゲージ・アクション・フレームワークST4VLAを紹介する。
ST4VLAは、Google Robotでは66.1 -> 84.6、WidowX Robotでは54.7 -> 73.2、バニラVLAよりも大幅に改善されている。
論文 参考訳（メタデータ） (2026-02-10T18:59:17Z) - Affordance Field Intervention: Enabling VLAs to Escape Memory Traps in Robotic Manipulation [25.496791183299692]
Affordance Field Intervention (AFI)は、SAFをオンデマンドプラグインとして使用してVLA動作をガイドする軽量なハイブリッドフレームワークである。
VLAバックボーンの平均改善率は23.5%である。
論文 参考訳（メタデータ） (2025-12-08T11:57:13Z) - PointVLA: Injecting the 3D World into Vision-Language-Action Models [10.758939578236582]
我々は,ポイントクラウド入力を必要とせずに,事前学習された視覚言語行動モデルを強化するフレームワークであるPointVLAを提案する。
本手法は,バニラ動作の専門家を凍結し,軽量なモジュールブロックを介して3次元特徴を注入する。
PointVLAは、シミュレーションと現実世界の両方のロボットタスクにおいて、最先端の2D模倣学習方法より優れています。
論文 参考訳（メタデータ） (2025-03-10T16:32:41Z) - LocATe: End-to-end Localization of Actions in 3D with Transformers [91.28982770522329]
LocATeは、3Dシーケンスでアクションを共同でローカライズし認識するエンドツーエンドのアプローチである。
画像やパッチの特徴を入力として考えるトランスフォーマーベースのオブジェクト検出や分類モデルとは異なり、LocATeのトランスフォーマーモデルはシーケンス内のアクション間の長期的な相関をキャプチャすることができる。
BABEL-TAL-20 (BT20) という新しい,挑戦的で,より現実的なベンチマークデータセットを導入する。
論文 参考訳（メタデータ） (2022-03-21T03:35:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。