論文の概要: Robot-Aligned 3D Gaussian Splatting for Precise Reaching with Wrist-Camera VLA Policies
- arxiv url: http://arxiv.org/abs/2610.35626v1
- Date: Mon, 26 Oct 2026 15:40:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.057551
- Title: Robot-Aligned 3D Gaussian Splatting for Precise Reaching with Wrist-Camera VLA Policies
- Title(参考訳): Wrist-Camera VLA ポリシーによる精密リーチのためのロボット対応3次元ガウススティング
- Abstract要約: 効率的なロボットデータ収集は、ヴィジュアル・ランゲージ・アクション(VLA)ポリシー学習の大きなボトルネックであり続けている。
本稿では,手首カメラVLA適応のための3次元ガウススプラッティング(3DGS)に基づくデータ生成パイプラインを提案する。
提案手法は実作業空間を3DGSで再構成し,ロボットのポーズから多様な手首カメラの観察を行う。
- 参考スコア(独自算出の注目度): 3.107698042151629
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient robotic data collection remains a major bottleneck for vision-language-action (VLA) policy learning, especially for tasks requiring accurate end-effector positioning and camera-action alignment. This challenge is particularly severe in electronic-waste disassembly, where robots operate in cluttered assemblies of densely packed, visually similar components. Full digital-twin simulation is difficult because many parts are thin, reflective, or mechanically complex, making accurate object-level meshes and contact models difficult to obtain. In this work, we focus on pre-contact reaching and propose a 3D Gaussian Splatting (3DGS)-based data generation pipeline for wrist-camera VLA adaptation. Our method reconstructs the real workspace with 3DGS and renders diverse wrist-camera observations from robot-aligned poses. These observations are paired with smooth, structured reaching trajectories to provide robot-aligned visual-action supervision for VLA fine-tuning. We further augment the VLA policy with an instruction-conditioned reach verifier that estimates target proximity and provides reliable termination before physical interaction. Experiments in motherboard disassembly demonstrate precise VLA-based reaching using wrist-camera observations alone, without an external side-view camera. With $π$0.5, 1,500 generated trajectories achieve 80.0\% precise-reaching success across three targets, compared with 58.7\% using 150 teleoperated demonstrations, while requiring less than 10 minutes of active human capture. Project website: https://001-wang.github.io/PrecisionReach-GS/
- Abstract(参考訳): 効率的なロボットデータ収集は、特に正確なエンドエフェクタの位置決めとカメラアクションアライメントを必要とするタスクにおいて、視覚言語アクション(VLA)ポリシー学習の大きなボトルネックとなっている。
この課題は、ロボットが密に詰め込まれ、視覚的に類似したコンポーネントの散らばった集合体で操作する電子廃棄物分解において特に深刻である。
完全なデジタルツインシミュレーションは、多くの部品が薄く、反射性があり、機械的に複雑であるため、正確なオブジェクトレベルのメッシュや接触モデルを得るのが難しくなるため、難しい。
本研究では,手首カメラVLA適応のための3次元ガウススプラッティング(3DGS)に基づくデータ生成パイプラインを提案する。
提案手法は実作業空間を3DGSで再構成し,ロボットのポーズから多様な手首カメラの観察を行う。
これらの観察は、VLAファインチューニングのためのロボット整列型視覚行動監視を提供するために、スムーズで構造化された到達軌道と組み合わせられる。
さらに,目標近傍を推定し,物理的相互作用の前に確実に終了する命令条件付きリーチ検証器により,VLAポリシーをさらに強化する。
マザーボードの分解実験では、外部カメラを使わずに、手首カメラだけで正確なVLAベースの到達を実証した。
π$0.5で、1500の生成された軌道は3つの目標に対して80.0\%の精度で成功し、150回の遠隔操作デモでは58.7\%の精度で成功し、アクティブな人間の捕獲には10分もかからない。
プロジェクトウェブサイト:https://001-wang.github.io/PrecisionReach-GS/
関連論文リスト
- WARP-VLA: Wrist-Camera Adaptation for View-Robust Policy Execution in Vision-Language-Action Models [21.43575545487911]
WARP-VLA(WARP-VLA)は、様々な手首カメラ構成用のカメラビューロバストなVLAである。
WARP-VLA は pi-0.5 の平均成功率を 39.2% から 78.3% に改善することを示した。
論文 参考訳(メタデータ) (2026-10-08T08:44:26Z) - Contrastive Action-Image Pre-training for Visuomotor Control [91.5630572541332]
エンドエフェクタアクションのプロキシとして,大規模なエゴセントリックビデオからの人間の手ポーズを取り扱う視覚エンコーダであるCAIPを紹介する。
人間のビデオは32,041時間、ロボット操作のデータは88時間しかなく、CAIPは最先端の視覚エンコーダより優れています。
論文 参考訳(メタデータ) (2026-06-15T20:00:20Z) - GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation [54.671815855499034]
視覚言語アクション(VLA)ポリシーは、セマンティック先行をアクション生成に転送することで、言語条件のロボット操作を進化させた。
標準的な行動模倣学習は、しばしば明示的な3次元空間情報、密集した幾何学的監督、将来の環境進化の十分なモデリングを欠いている。
フィードフォワード3Dガウス世界モデルプラグインである textbfGaussianDream を提案する。
論文 参考訳(メタデータ) (2026-05-20T05:51:30Z) - ViserDex: Visual Sim-to-Real for Robust Dexterous In-hand Reorientation [9.303398221598739]
複雑なタスクのダイナミクスを扱うには、オブジェクトのポーズを正確に見積もる必要がある。
RGBセンシングはポーズトラッキングのためのリッチなセマンティックキューを提供するが、既存のソリューションはマルチカメラのセットアップや高価なレイトレーシングに依存している。
本稿では,3次元ガウススプラッティング(3DGS)を統合して視覚的シム-リアルギャップを埋めるモノクラーRGBの直交配向フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-13T07:50:41Z) - WARPED: Wrist-Aligned Rendering for Robot Policy Learning from Egocentric Human Demonstrations [10.024841990710177]
WARPEDは人間のデモビデオからリアルな手首ビューの観察を合成するためのフレームワークである。
ハンドオブジェクトインタラクションパイプラインを使用して、手と操作対象を追跡し、軌道をロボットのエンドエフェクタに再ターゲットする。
我々は、WARPEDが5つのテーブルトップ操作タスクのための遠隔操作デモデータに基づいて訓練されたポリシーに匹敵する成功率を達成することを実証した。
論文 参考訳(メタデータ) (2026-04-12T20:40:59Z) - Monocular 3D Object Position Estimation with VLMs for Human-Robot Interaction [0.9601607750628977]
本研究では3次元座標検出タスクにおける視覚言語モデル(VLM)の対話的能力について検討する。
我々は、10万以上の画像の異種データセットを収集し、カスタムレグレッションヘッドでQLoRAを用いてVLMを微調整した。
以上の結果から,テストセットの中央値13mmのMAEと,より単純なベースラインよりも5倍の精度向上が得られた。
論文 参考訳(メタデータ) (2026-03-01T18:41:48Z) - RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics [67.11221574129937]
空間参照は、3D物理世界と相互作用するエンボディロボットの基本的な能力である。
本稿では,まず空間的理解を正確に行うことのできる3次元VLMであるRoboReferを提案する。
RoboReferは、強化微調整による一般化された多段階空間推論を推進している。
論文 参考訳(メタデータ) (2025-06-04T17:59:27Z) - Exploring 3D Human Pose Estimation and Forecasting from the Robot's Perspective: The HARPER Dataset [52.22758311559]
本研究では,ユーザとスポット間のダイアドインタラクションにおける3次元ポーズ推定と予測のための新しいデータセットであるHARPERを紹介する。
キーノーベルティは、ロボットの視点、すなわちロボットのセンサーが捉えたデータに焦点を当てることである。
HARPERの基盤となるシナリオには15のアクションが含まれており、そのうち10つはロボットとユーザの間の物理的接触を含んでいる。
論文 参考訳(メタデータ) (2024-03-21T14:53:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。