論文の概要: Augmented Reality Demonstrations for Scalable Robot Imitation Learning
- arxiv url: http://arxiv.org/abs/2403.13910v1
- Date: Wed, 20 Mar 2024 18:30:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 18:09:15.005535
- Title: Augmented Reality Demonstrations for Scalable Robot Imitation Learning
- Title(参考訳): スケーラブルなロボット模倣学習のための拡張現実デモ
- Authors: Yue Yang, Bryce Ikeda, Gedas Bertasius, Daniel Szafir,
- Abstract要約: 本稿では,実証収集のためのAR支援フレームワークについて述べる。
我々は、HoloLens 2.0のようなデバイスを使って、ロボットILのデモを作ることができる非ロボティスティックなユーザーに力を与えます。
従来の3つのロボットのタスク(リーチ、プッシュ、ピック・アンド・プレイス)で、我々のアプローチを検証する。
- 参考スコア(独自算出の注目度): 25.026589453708347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robot Imitation Learning (IL) is a widely used method for training robots to perform manipulation tasks that involve mimicking human demonstrations to acquire skills. However, its practicality has been limited due to its requirement that users be trained in operating real robot arms to provide demonstrations. This paper presents an innovative solution: an Augmented Reality (AR)-assisted framework for demonstration collection, empowering non-roboticist users to produce demonstrations for robot IL using devices like the HoloLens 2. Our framework facilitates scalable and diverse demonstration collection for real-world tasks. We validate our approach with experiments on three classical robotics tasks: reach, push, and pick-and-place. The real robot performs each task successfully while replaying demonstrations collected via AR.
- Abstract(参考訳): ロボット・イミテーション・ラーニング(英: Robot Imitation Learning, IL)は、人間の実演を模倣してスキルを身につけるロボットを訓練する手法である。
しかし、実際のロボットアームを動作させることでデモを行う必要があるため、実用性は制限されている。
本稿では,拡張現実(AR)を利用したデモ収集フレームワークを提案する。HoloLens 2.0のようなデバイスを用いたロボットILのデモを,非ロボティスティックなユーザに提供する。
本フレームワークは,実世界のタスクに対して,スケーラブルで多様なデモコレクションを実現する。
従来の3つのロボットのタスク(リーチ、プッシュ、ピック・アンド・プレイス)で、我々のアプローチを検証する。
実際のロボットは、AR経由で収集されたデモを再生しながら、各タスクをうまく実行します。
関連論文リスト
- VITAL: Visual Teleoperation to Enhance Robot Learning through Human-in-the-Loop Corrections [10.49712834719005]
本稿では,VITAL と呼ばれる双方向操作作業のための低コストな視覚遠隔操作システムを提案する。
われわれのアプローチは、安価なハードウェアとビジュアル処理技術を利用してデモを収集する。
実環境と模擬環境の両方を活用することにより,学習方針の一般化性と堅牢性を高める。
論文 参考訳(メタデータ) (2024-07-30T23:29:47Z) - Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。
このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。
本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
論文 参考訳(メタデータ) (2024-07-01T17:55:35Z) - SWBT: Similarity Weighted Behavior Transformer with the Imperfect
Demonstration for Robotic Manipulation [32.78083518963342]
SWBT(Simisity Weighted Behavior Transformer)という新しいフレームワークを提案する。
SWBTは、環境との相互作用なしに、専門家と不完全なデモンストレーションの両方から効果的に学習する。
我々は、ロボット操作タスクのオフライン模倣学習環境に不完全なデモンストレーションを統合する試みを初めて行った。
論文 参考訳(メタデータ) (2024-01-17T04:15:56Z) - RoboCLIP: One Demonstration is Enough to Learn Robot Policies [72.24495908759967]
RoboCLIPは、オンラインの模倣学習手法であり、ビデオデモの形式で1つのデモンストレーションまたはタスクのテキスト記述を使用して報酬を生成する。
RoboCLIPは、報酬生成のタスクを解決した人間のビデオや、同じデモやデプロイメントドメインを持つ必要を回避するなど、ドメイン外のデモも利用することができる。
論文 参考訳(メタデータ) (2023-10-11T21:10:21Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳(メタデータ) (2023-07-12T07:04:53Z) - AR2-D2:Training a Robot Without a Robot [53.10633639596096]
専門的な訓練を要さないデモを収集するシステムであるAR2-D2を紹介する。
AR2-D2は、iOSアプリの形式で、あらゆるオブジェクトを操作する自身のビデオを記録するために使用することができるフレームワークである。
本研究では,本システムを用いて収集したデータにより,実物操作における行動クローニングエージェントの訓練が可能となることを示す。
論文 参考訳(メタデータ) (2023-06-23T23:54:26Z) - Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。
我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。
われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
論文 参考訳(メタデータ) (2023-05-10T16:25:42Z) - Bottom-Up Skill Discovery from Unsegmented Demonstrations for
Long-Horizon Robot Manipulation [55.31301153979621]
我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。
未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。
提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2021-09-28T16:18:54Z) - Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。
本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。
我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
論文 参考訳(メタデータ) (2021-09-19T18:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。