論文の概要: VREgo: Consumer VR Headsets for Learning Robot Manipulation from Egocentric Demonstrations
- arxiv url: http://arxiv.org/abs/2611.07272v1
- Date: Thu, 05 Nov 2026 00:46:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.479274
- Title: VREgo: Consumer VR Headsets for Learning Robot Manipulation from Egocentric Demonstrations
- Title（参考訳）: VREgo:エゴセントリックなデモからロボットの操作を学習する消費者向けVRヘッドセット
- Abstract要約: デバイス上のヘッドとハンドトラッキングとステレオオブジェクトのローカライゼーションにより、オペレータはテーブルでデモを開始することができる。
我々はHumanEgoの事前処理に適応し、記録毎の把握しきい値を推定する。
1人のオペレータが記録した2つのテーブルトップタスクのシミュレーションにおけるポリシーの評価を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: VREgo trains manipulation policies from demonstrations recorded on consumer VR headsets; we instantiate it with EgoKit on one such headset, the PICO 4 Ultra. On-device head and hand tracking and stereo object localisation allow the operator to begin a demonstration at the table. We adapt HumanEgo's preprocessing to estimate grasp thresholds per recording, update object positions after release, and propagate segmentation masks between keyframes. We evaluate policies in simulation on two tabletop tasks recorded by one operator. For cube placement, we compare PICO and Project Aria recordings of the same 41 layouts. With 40 training demonstrations, the PICO policies placed the cube on the tray in 67, 74, and 60 of 100 evaluation layouts across three training seeds. The corresponding Aria results were 73, 78, and 0. For a two-stage stacking task recorded with the PICO alone, the baseline placed the block on the tray in 94 of 100 layouts and met the end-of-episode criterion for both placements in two. In one diagnostic episode, repeated replanning deferred release beyond the eight executed steps. Demonstration replays also showed that the open gripper could displace the cube before grasping it. After adapting the training trajectories and adding task-specific execution rules that use simulator object positions, the system met both placement criteria in 93.8% of episodes across four evaluation noise seeds. The same 100 layouts informed rule development and evaluation. VREgo is available at https://vrego.chuange.org/.
- Abstract（参考訳）: VREgoは、消費者向けVRヘッドセットで記録されたデモからポリシーをトレーニングします。
デバイス上のヘッドとハンドトラッキングとステレオオブジェクトのローカライゼーションにより、オペレータはテーブルでデモを開始することができる。
我々はHumanEgoの事前処理を適用して記録毎の把握しきい値を推定し、リリース後のオブジェクト位置を更新し、キーフレーム間のセグメンテーションマスクを伝搬する。
1人のオペレータが記録した2つのテーブルトップタスクのシミュレーションにおけるポリシーの評価を行う。
立方体配置については、同じ41のレイアウトのPICOとProject Ariaを比較検討する。
40回のトレーニングデモで、PICOポリシは3つのトレーニング種子にまたがる評価レイアウトのうち67、74、60にキューブを配置した。
その結果, 73, 78, 0。
PICOだけで記録された2段階の積み重ね作業では、ベースラインはブロックを100のレイアウトのうち94のトレイに配置し、両配置のエンド・オブ・エポソード基準を2つに満たした。
1つの診断エピソードでは、反復的再計画は、実行された8段階を超えて延期された。
デモリプレイでは、開いたグリップが立方体をつかむ前に取り外せることも示されていた。
訓練軌跡に適応し、シミュレーターオブジェクトの位置を使用するタスク固有の実行ルールを追加した後、システムは4つの評価ノイズシードのエピソードの93.8%に両方の配置基準を満たした。
同じ100のレイアウトはルールの開発と評価を通知した。
VREgoはhttps://vrego.chuange.org/で入手できる。
関連論文リスト
- Auriga Technical Report: A Task-Agnostic Agent Harness for Zero-Shot Embodied Manipulation [62.55752327741587]
RoboDojoでは、大きな計画と実行のギャップが、高レベルのタスク決定と物理的実行を分離します。
目標タスクやリセットを伴わないゼロショット操作において,このギャップの68.3%を埋めるタスク非依存のエージェントハーネスであるAurigaを紹介する。
論文 参考訳（メタデータ） (2026-10-31T16:59:05Z) - EchoNav: Evidential BEV Completion from Historical Observations for Visual Navigation [11.085027109271776]
乱雑な環境での視覚的なナビゲーションでは、ロボットは事前に観察された構造を回復し、障害物や障害物を推論し、閉鎖されたままの自由空間を保たなければならない。
本稿では,短いRGB配列から予測される明らかな鳥眼ビュー(BEV)表現において,時間的集約と占有完了を組み合わせた枠組みを提案する。
シミュレーションされた2ゴールナビゲーションでは,89.6%の成功を達成し,最も評価の高いベースラインを32.5ポイント上回った。
論文 参考訳（メタデータ） (2026-10-20T04:31:18Z) - What Matters in Quality-Aware VLA Pretraining: A Benchmark and Empirical Study [80.56555023711842]
AXIS-Benchはクラウドソースによるシミュレーションのデモに基づいて構築されている。
記録されたオブジェクトとコンタクト状態を提供し、共有軌跡上の品質ラベルを再計算する。
実世界の実験では、シミュレーション事前トレーニングは9.6%から31.7%に向上した。
論文 参考訳（メタデータ） (2026-10-13T17:59:52Z) - Splat2Act: From Captured Scenes to Personalized VLA Manipulation [29.22839593205266]
Splat2Actは、事前訓練された視覚言語アクション(VLA)ポリシーを特定のシーンとオブジェクトセットにパーソナライズする、リアルタイム・シミュレート・トゥ・リアルなパイプラインである。
平均航法面積104.87m$2および7レセプタクルでスキャンされた101のキャンパス環境に適用し,852レセプタクルと68,000以上のピックアップ実験を行った。
論文 参考訳（メタデータ） (2026-10-09T17:59:06Z) - Spa-Bench: A Real-Robot Benchmark for Spatial Grounding in Vision-Language-Action Models [12.056788298994904]
Spa-Benchは6つのタスクにわたる空間的接地を評価する実ロボットベンチマークである。
我々はSO-101ロボットアームで収集された4,092エピソードを公表した。
論文 参考訳（メタデータ） (2026-10-08T20:22:35Z) - Shared Execution-Clock Drifting Policy for Dynamic Precision Manipulation [2.44955840609554]
実行リズムは、ロボットが期限前に一連の調整を完了しなければならない場合に重要である。
本稿では、実行リズムを1ステップのアクション生成の明示的な部分とする共有実行クロックドリフト(SECD)を提案する。
NVIDIA Thor を用いた 4 つの実ロボットタスクを対象としたSECD の評価を行った。
論文 参考訳（メタデータ） (2026-09-20T02:42:31Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳（メタデータ） (2026-09-17T01:24:51Z) - WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation [49.31386176285509]
WatchActは、観察された人間の行動に基づくロボット操作のベンチマークである。
WatchActは4つの機能ドメインで14タスクにわたる3,000のロングホライゾンインスタンスで構成されている。
シミュレーションとFranka Research 3ロボットの両方で、現在のシステムはWatchActの解決には程遠い。
論文 参考訳（メタデータ） (2026-06-24T23:13:56Z) - Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。
マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。
LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
論文 参考訳（メタデータ） (2026-06-10T23:56:01Z) - PACE: A Large-Scale Dataset with Pose Annotations in Cluttered Environments [50.79058028754952]
PACE(Pose s in Cluttered Environments)は、散在シナリオにおけるポーズ推定手法の大規模ベンチマークである。
ベンチマークは55Kフレームで構成され、300の動画に258Kのアノテーションがあり、43のカテゴリから238のオブジェクトをカバーしている。
PACE-Simには、931オブジェクトにわたる2.4Mアノテーションを備えた100Kのフォトリアリスティックシミュレートフレームが含まれている。
論文 参考訳（メタデータ） (2023-12-23T01:38:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。