論文の概要: ARCap: Collecting High-quality Human Demonstrations for Robot Learning with Augmented Reality Feedback

• arxiv url: http://arxiv.org/abs/2410.08464v1
• Date: Fri, 11 Oct 2024 02:30:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 03:06:36.394603
• Title: ARCap: Collecting High-quality Human Demonstrations for Robot Learning with Augmented Reality Feedback
• Title（参考訳）: ARCap:拡張現実フィードバックによるロボット学習のための高品質な人間デモ収集
• Authors: Sirui Chen, Chen Wang, Kaden Nguyen, Li Fei-Fei, C. Karen Liu,
• Abstract要約: 本稿では,拡張現実(AR)と触覚警告を通じて視覚的フィードバックを提供する携帯型データ収集システムARCapを提案する。 ARCapから収集されたデータにより、ロボットは散らかった環境での操作や長い水平交叉操作といった困難なタスクを実行できる。
• 参考スコア（独自算出の注目度）: 21.9704438641606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in imitation learning from human demonstrations has shown promising results in teaching robots manipulation skills. To further scale up training datasets, recent works start to use portable data collection devices without the need for physical robot hardware. However, due to the absence of on-robot feedback during data collection, the data quality depends heavily on user expertise, and many devices are limited to specific robot embodiments. We propose ARCap, a portable data collection system that provides visual feedback through augmented reality (AR) and haptic warnings to guide users in collecting high-quality demonstrations. Through extensive user studies, we show that ARCap enables novice users to collect robot-executable data that matches robot kinematics and avoids collisions with the scenes. With data collected from ARCap, robots can perform challenging tasks, such as manipulation in cluttered environments and long-horizon cross-embodiment manipulation. ARCap is fully open-source and easy to calibrate; all components are built from off-the-shelf products. More details and results can be found on our website: https://stanford-tml.github.io/ARCap
• Abstract（参考訳）: 人間の実演による模倣学習の進歩は,ロボットの操り方を教える上で有望な成果を上げている。 トレーニングデータセットをさらにスケールアップするために、最近の研究は、物理的なロボットハードウェアを必要とせずにポータブルなデータ収集デバイスを使い始めた。 しかし、データ収集中にオンボットフィードバックがないため、データ品質はユーザーの専門知識に大きく依存しており、多くのデバイスは特定のロボットの体格に限定されている。 本稿では,拡張現実(AR)と触覚警告を通じて視覚的フィードバックを提供する携帯型データ収集システムARCapを提案する。 広範にわたるユーザスタディを通じて,ARCapは,ロボットキネマティクスにマッチし,シーンとの衝突を避けるロボット実行可能なデータ収集を可能にする。 ARCapから収集されたデータにより、ロボットは散らかった環境での操作や長い水平交叉操作といった困難なタスクを実行できる。 ARCapは完全にオープンソースで、キャリブレーションが簡単で、すべてのコンポーネントは既製の製品から作られている。 詳細と結果は、私たちのWebサイトにある。

関連論文リスト

• Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets [24.77850617214567]
  本稿では,視覚的特徴と操作タスクの行動や受容といった動的情報の両方を抽出する基礎表現学習フレームワークを提案する。 具体的には、DROIDロボットデータセット上で視覚エンコーダを事前訓練し、ロボットの受容状態や動作などの動作関連データを活用する。 本研究では,視覚的観察をロボットの主観的状態-動作ダイナミクスと整合させる新しいコントラスト的損失と,事前トレーニング中の行動を予測する行動クローニング(BC)のようなアクター損失と,時間的コントラスト的損失を導入する。
  論文  参考訳（メタデータ） (2024-10-29T17:58:13Z)
• VITAL: Visual Teleoperation to Enhance Robot Learning through Human-in-the-Loop Corrections [10.49712834719005]
  本稿では,VITAL と呼ばれる双方向操作作業のための低コストな視覚遠隔操作システムを提案する。 われわれのアプローチは、安価なハードウェアとビジュアル処理技術を利用してデモを収集する。 実環境と模擬環境の両方を活用することにより,学習方針の一般化性と堅牢性を高める。
  論文  参考訳（メタデータ） (2024-07-30T23:29:47Z)
• MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations [55.549956643032836]
  MimicGenは、少数の人間のデモから大規模でリッチなデータセットを自動的に合成するシステムである。 ロボットエージェントは,この生成したデータセットを模倣学習により効果的に訓練し,長期的・高精度なタスクにおいて高い性能を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:17:31Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot [56.130215236125224]
  オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。 単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。 本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
  論文  参考訳（メタデータ） (2023-07-02T15:33:31Z)
• AR2-D2:Training a Robot Without a Robot [53.10633639596096]
  専門的な訓練を要さないデモを収集するシステムであるAR2-D2を紹介する。 AR2-D2は、iOSアプリの形式で、あらゆるオブジェクトを操作する自身のビデオを記録するために使用することができるフレームワークである。 本研究では,本システムを用いて収集したデータにより,実物操作における行動クローニングエージェントの訓練が可能となることを示す。
  論文  参考訳（メタデータ） (2023-06-23T23:54:26Z)
• Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
  ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。 この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。 本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
  論文  参考訳（メタデータ） (2023-02-22T18:47:51Z)
• Learning Visualization Policies of Augmented Reality for Human-Robot Collaboration [5.400491728405083]
  人間とロボットのコラボレーション領域では、拡張現実(AR)技術により、ロボットの状態を視覚化することができる。 現在のARベースの可視化ポリシーは手作業で設計されており、多くの人的努力とドメイン知識が必要です。 VARILと呼ばれるフレームワークを開発し、ARエージェントがデモから可視化ポリシーを学習できるようにする。
  論文  参考訳（メタデータ） (2022-11-13T22:03:20Z)
• Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos [59.58105314783289]
  ドメインに依存しないビデオ識別器(DVD)は、2つのビデオが同じタスクを実行しているかどうかを判断するために識別器を訓練することによりマルチタスク報酬関数を学習する。 DVDは、人間のビデオの広いデータセットで少量のロボットデータから学習することで、一般化することができる。 DVDと視覚モデル予測制御を組み合わせることで、実際のWidowX200ロボットのロボット操作タスクを単一の人間のデモから未知の環境で解決できます。
  論文  参考訳（メタデータ） (2021-03-31T05:25:05Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。