論文の概要: Pointing-VLA: Typed Spatial Grounding Interfaces for Vision-Language-Action Manipulation
- arxiv url: http://arxiv.org/abs/2608.23138v1
- Date: Mon, 24 Aug 2026 11:43:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.037076
- Title: Pointing-VLA: Typed Spatial Grounding Interfaces for Vision-Language-Action Manipulation
- Title(参考訳): Pointing-VLA: Vision-Language-Action Manipulationのための型空間接地インタフェース
- Abstract要約: 本稿では,Embodied-R1上に構築された隠れ状態空間読み出し型Pointing-VLAを提案する。
Pointing-VLA は Bridge/WidowX 上で SOTA のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 5.156481604986546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) models often expose spatial grounding through autoregressive text coordinates or opaque action tokens, creating brittle interfaces between multimodal reasoning and robot execution. We present Pointing-VLA, a typed hidden-state spatial readout built on Embodied-R1. Geometry-specific heads predict normalized points, object-functional grounding (OFG) heatmaps, and visual trajectories without serializing geometry as text. For the evaluated Bridge/WidowX and physical pick-place deployments, an explicit execution contract assigns PICK to source-conditioned OFG and PLACE to Pointing, providing direct stage-aligned spatial targets. Pointing-VLA achieves SOTA performance on Bridge/WidowX, averaging 72.9\% across the evaluated four-task set without Bridge-specific finetuning under collision-enabled CuRobo execution. Pointing and OFG show complementary strengths across native and cross-dataset evaluations. The OFG/contact readout transfers to NORA-1.5, preserving or improving success while reducing recorded controller time by more than 20$\times$; typed heads are also 6.68--6.90$\times$ faster than Embodied-R1 text decoding on a shared external suite. When integrated as spatial guidance for a $π_{0.5}$ action policy, Pointing-VLA raises autonomous real-robot success from 52.7\% to 80.7\% across three visual contexts. These results establish typed spatial readouts as an efficient, inspectable interface between embodied reasoning and robot execution.
- Abstract(参考訳): 視覚言語アクション(VLA)モデルは、しばしば自己回帰的なテキスト座標や不透明なアクショントークンを通じて空間的グラウンドを公開し、マルチモーダル推論とロボット実行の間の脆いインターフェースを作成する。
本稿では,Embodied-R1上に構築された隠れ状態空間読み出し型Pointing-VLAを提案する。
幾何特異的ヘッドは、正規化点、オブジェクトファンクショナルグラウンド(OFG)ヒートマップ、およびテキストとして幾何を直列化せずに視覚軌道を予測する。
評価されたブリッジ/ウィドウXおよび物理的ピックプレース配置では、明示的な実行契約がPICKをソース条件のOFGに、PLACEをポインティングに割り当て、直接ステージ整列空間ターゲットを提供する。
Pointing-VLAは、Bridge/WidowX上でのSOTA性能を実現し、衝突可能なCuRobo実行時にブリッジ固有の微調整なしで評価された4タスクセットの平均72.9\%を達成する。
PointingとOFGは、ネイティブおよびクロスデータセット評価の相補的な長所を示している。
OFG/Contactの読み出しはNORA-1.5に転送され、記録されたコントローラ時間を20$\times$で保存または改善する。
π_{0.5}$アクションポリシーの空間的ガイダンスとして統合されると、Pointing-VLAは3つの視覚的文脈で52.7\%から80.7\%に自律的な実ロボットの成功を上げる。
これらの結果から, 組込み推論とロボット実行の効率よく, 検査可能なインタフェースとして, 型付き空間読み出しが確立された。
関連論文リスト
- Training Vision-Language-Action Models with Dense Embodied Chain-of-Thought Supervision [26.793499191581315]
視覚言語アクション(VLA)モデルにおける異体間移動は依然として困難である。
ZR-0は260億のパラメーター-エンドツーエンドのVLAモデルであり、密なエンボディード・チェーン・オブ・レーソン(ECoT)の監督を用いて、クロスボディーメント表現を整列させる。
論文 参考訳(メタデータ) (2026-06-29T16:48:48Z) - SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning [99.49739831030388]
このインタフェースの設計は,オープンエンド空間推論のためのエージェントのキャパシティをいかに形作るかを検討する。
本研究では,アクションインタフェースとしてコードを採用する空間推論のためのトレーニングフリーフレームワークであるSpatialClawを提案する。
論文 参考訳(メタデータ) (2026-06-11T17:59:36Z) - Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。
マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。
LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
論文 参考訳(メタデータ) (2026-06-10T23:56:01Z) - EmbodimentSemantic: A Spatial Scene-Graph Dataset and Benchmark for Vision-Language Models on Embodied Manipulation Trajectories [16.996900088118412]
エボディメント・セマンティック(EmbodimentSemantic)は、空間的シーングラフのデータセットと、エンボディード操作における関係グラウンドの評価のためのベンチマークである。
データセットには、低コストのSO101ロボットアームで収集された現実世界の操作観察が含まれている。
また,60K以上の操作フレームと120K以上のカメラ固有のシーングラフを3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人
論文 参考訳(メタデータ) (2026-06-06T18:58:54Z) - OASIS: Observation-Action Space Alignment via SE(3) Trajectory Prediction for Robotic Manipulation [41.754765514902736]
本稿では,中間表現と作用空間を$SE(3)$ trajectory predictionで整列するビジュモータポリシーを提案する。
OASISは、3D対応の機能エンコーダを結合し、視覚言語とメートル法深度機能を$SE(3)$ trajectory predictorで融合する。
OASISは、VLAとWAMのベースラインを成功率とアウト・オブ・ディストリビューションの一般化で上回っている。
論文 参考訳(メタデータ) (2026-05-25T13:28:33Z) - VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models [80.1055544841585]
ビジョン・ランゲージ・アクションモデルは通常、視覚観察と言語指示を直接ロボット制御信号にマッピングする。
本稿では,高レベルの推論と低レベルの実行を,構造化された視覚的プロンプトインタフェースを介して分離する,デュアルシステムフレームワークであるVP-VLAを提案する。
Robocasa-GR1-TabletopベンチマークとSimplerEnvシミュレーションの実験は、VP-VLAが成功率を5%と8.3%改善することを示した。
論文 参考訳(メタデータ) (2026-03-23T14:08:58Z) - Not All Features Are Created Equal: A Mechanistic Study of Vision-Language-Action Models [2.5338045371474816]
VLA(Vision-Language-Action)モデルは、単一のアーキテクチャにおける知覚、言語、運動制御を組み合わせたモデルである。
394,000回以上のロールアウトエピソードにまたがる80M--7Bパラメータに,アクティベーションインジェクション,スパースオートエンコーダ,線形プローブを適用した。
論文 参考訳(メタデータ) (2026-03-19T17:59:55Z) - SemanticVLA: Semantic-Aligned Sparsification and Enhancement for Efficient Robotic Manipulation [65.6201974979119]
本稿では,効率的なロボットマニピュレーションのためのセマンティックスペーシフィケーション・エンハンスメントを実現する新しいVLAフレームワークSemanticVLAを提案する。
SemanticVLAはOpenVLA on LIBEROベンチマークを21.1%上回り、トレーニングコストと推論遅延を3.0倍と2.7倍に削減した。
論文 参考訳(メタデータ) (2025-11-13T17:24:37Z) - Detect Anything via Next Point Prediction [51.55967987350882]
Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。
COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
論文 参考訳(メタデータ) (2025-10-14T17:59:54Z) - You Only Estimate Once: Unified, One-stage, Real-Time Category-level Articulated Object 6D Pose Estimation for Robotic Grasping [119.41166438439313]
YOEOは、エンドツーエンドでインスタンスセグメンテーションとNPCS表現を出力する単一ステージのメソッドである。
我々は、統一ネットワークを使用してポイントワイズセマンティックラベルとセントロイドオフセットを生成し、同じパートインスタンスのポイントが同じセントロイドに投票できるようにする。
また,合成学習したモデルを実環境に展開し,200Hzでリアルタイムな視覚フィードバックを提供する。
論文 参考訳(メタデータ) (2025-06-06T03:49:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。