論文の概要: TeleMoMa: A Modular and Versatile Teleoperation System for Mobile
Manipulation
- arxiv url: http://arxiv.org/abs/2403.07869v1
- Date: Tue, 12 Mar 2024 17:58:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 19:49:50.219975
- Title: TeleMoMa: A Modular and Versatile Teleoperation System for Mobile
Manipulation
- Title（参考訳）: TeleMoMa:モバイル操作のためのモジュラー・ヴァーサタイル遠隔操作システム
- Authors: Shivin Dass, Wensi Ai, Yuqian Jiang, Samik Singh, Jiaheng Hu, Ruohan
Zhang, Peter Stone, Ben Abbatematteo, Roberto Martin-Martin
- Abstract要約: 本研究では,移動マニピュレータの全身遠隔操作のための汎用・モジュールインタフェースであるTeleMoMaを実演する。
TeleMoMaは、RGBとディープカメラ、バーチャルリアリティコントローラ、キーボード、ジョイスティックなど、複数のヒューマンインターフェースを統合する。
- 参考スコア（独自算出の注目度）: 35.03145324833289
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A critical bottleneck limiting imitation learning in robotics is the lack of
data. This problem is more severe in mobile manipulation, where collecting
demonstrations is harder than in stationary manipulation due to the lack of
available and easy-to-use teleoperation interfaces. In this work, we
demonstrate TeleMoMa, a general and modular interface for whole-body
teleoperation of mobile manipulators. TeleMoMa unifies multiple human
interfaces including RGB and depth cameras, virtual reality controllers,
keyboard, joysticks, etc., and any combination thereof. In its more accessible
version, TeleMoMa works using simply vision (e.g., an RGB-D camera), lowering
the entry bar for humans to provide mobile manipulation demonstrations. We
demonstrate the versatility of TeleMoMa by teleoperating several existing
mobile manipulators - PAL Tiago++, Toyota HSR, and Fetch - in simulation and
the real world. We demonstrate the quality of the demonstrations collected with
TeleMoMa by training imitation learning policies for mobile manipulation tasks
involving synchronized whole-body motion. Finally, we also show that TeleMoMa's
teleoperation channel enables teleoperation on site, looking at the robot, or
remote, sending commands and observations through a computer network, and
perform user studies to evaluate how easy it is for novice users to learn to
collect demonstrations with different combinations of human interfaces enabled
by our system. We hope TeleMoMa becomes a helpful tool for the community
enabling researchers to collect whole-body mobile manipulation demonstrations.
For more information and video results,
https://robin-lab.cs.utexas.edu/telemoma-web.
- Abstract（参考訳）: ロボット工学における模倣学習を制限する重要なボトルネックは、データの欠如である。
この問題はモバイル操作ではより深刻であり、利用可能な遠隔操作インタフェースが不足しているため、デモ収集は静止操作よりも難しい。
本研究では,移動マニピュレータの全身遠隔操作のための汎用モジュールインタフェースであるTeleMoMaを紹介する。
TeleMoMaは、RGBとディープカメラ、バーチャルリアリティコントローラ、キーボード、ジョイスティックなど、あらゆる組み合わせを含む複数のヒューマンインターフェースを統合する。
よりアクセスしやすいバージョンでは、TeleMoMaは単純な視覚(例えばRGB-Dカメラ)を使用して、人間がモバイル操作のデモを行うためにエントリーバーを下げる。
シミュレーションや実世界において,PAL Tiago++,Toyota HSR,Fetchといった既存の移動マニピュレータを遠隔操作することで,TeleMoMaの汎用性を実証する。
我々は,TeleMoMaで収集した実演の質を,体動の同期を含む移動操作タスクの模倣学習ポリシーの訓練により実証する。
最後に,telemomaの遠隔操作チャネルでは,サイト,ロボット,あるいはリモートの遠隔操作が可能であり,コンピュータネットワークを介してコマンドや観察を送信し,初心者がシステムによって実現されるヒューマンインタフェースの異なる組み合わせによるデモの収集を学べるように,ユーザスタディを実施している。
telemomaは、研究者が全身のモバイル操作デモを収集できる、コミュニティにとって有用なツールになることを願っている。
詳しくは、https://robin-lab.cs.utexas.edu/telemoma-webを参照。
関連論文リスト
- Zero-Cost Whole-Body Teleoperation for Mobile Manipulation [8.71539730969424]
MoMa-Teleopは、ベースモーションを強化学習エージェントに委譲する新しい遠隔操作手法である。
提案手法は,様々なロボットやタスクに対して,タスク完了時間が大幅に短縮されることを実証する。
論文 参考訳（メタデータ） (2024-09-23T15:09:45Z) - Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。
このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。
本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
論文 参考訳（メタデータ） (2024-07-01T17:55:35Z) - Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost
Whole-Body Teleoperation [59.21899709023333]
本研究では,バイマン的かつ全身制御を必要とするモバイル操作タスクを模倣するシステムを開発した。
Mobile ALOHAは、データ収集のための低コストで全身的な遠隔操作システムである。
共同トレーニングは成功率を最大90%向上させ、モバイルALOHAが自律的に複雑なモバイル操作タスクを完了できるようにする。
論文 参考訳（メタデータ） (2024-01-04T07:55:53Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳（メタデータ） (2023-07-12T07:04:53Z) - From One Hand to Multiple Hands: Imitation Learning for Dexterous
Manipulation from Single-Camera Teleoperation [26.738893736520364]
我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。
我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。
データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2022-04-26T17:59:51Z) - Error-Aware Imitation Learning from Teleoperation Data for Mobile
Manipulation [54.31414116478024]
移動操作(MM)では、ロボットは環境内を移動して操作することができる。
本研究では,MMタスクに対する連続的なビジュオモダポリシの学習に模倣学習(IL)を適用する方法について検討する。
論文 参考訳（メタデータ） (2021-12-09T23:54:59Z) - Learning Multi-Arm Manipulation Through Collaborative Teleoperation [63.35924708783826]
模倣学習(il)はロボットに操作タスクを実行するための強力なパラダイムである。
多くの現実世界のタスクは、重い物体を持ち上げる、デスクを組み立てるなど、複数のアームを必要とする。
複数のリモートユーザが同時にロボットアームを遠隔操作できるマルチユーザデータ収集プラットフォームであるMulti-Arm RoboTurk(MART)を紹介した。
論文 参考訳（メタデータ） (2020-12-12T05:43:43Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z) - A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU [25.451864296962288]
本稿では,新しい視覚に基づく手ポーズ回帰ネットワーク(Transteleop)とIMUによる腕追跡手法を提案する。
Transteleopは低コストの深度カメラを通して人間の手を観察し、ペアのロボットハンドポーズの深度画像を生成する。
ウェアラブルカメラホルダは、同時ハンドアーム制御を可能にし、遠隔操作システム全体の移動を容易にする。
論文 参考訳（メタデータ） (2020-03-11T10:57:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。