論文の概要: AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System
- arxiv url: http://arxiv.org/abs/2307.04577v3
- Date: Thu, 16 May 2024 21:14:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-20 20:43:15.530784
- Title: AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System
- Title（参考訳）: AnyTeleop: 汎用ビジョンベースのデクスタースロボットアームハンド遠隔操作システム
- Authors: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, Dieter Fox,
- Abstract要約: ビジョンベースの遠隔操作は、人間レベルの知性をロボットに与え、環境と対話させる。
現在のビジョンベースの遠隔操作システムは、特定のロボットモデルとデプロイ環境に向けて設計・設計されている。
我々は、複数の異なる腕、手、現実、カメラ構成を単一のシステム内でサポートする、統一的で汎用的な遠隔操作システムであるAnyTeleopを提案する。
- 参考スコア（独自算出の注目度）: 51.48191418148764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: https://yzqin.github.io/anyteleop/.
- Abstract（参考訳）: ビジョンベースの遠隔操作は、低コストのカメラセンサーのみを必要としながら、人間レベルの知性をロボットに与え、環境と物理的に相互作用させることを可能にする。
しかし、現在のビジョンベースの遠隔操作システムは、特定のロボットモデルと展開環境に向けて設計・設計されており、ロボットモデルのプールが拡大し、様々な動作環境が増加するにつれて、スケーラビリティが低下する。
本稿では,AnyTeleopを提案する。AnyTeleopは,複数の腕,手,現実,カメラ構成を単一のシステム内でサポートするための,統一的で汎用的な遠隔操作システムである。
シミュレータと実際のハードウェアの選択に優れた柔軟性を提供するように設計されていますが、我々のシステムは依然として優れたパフォーマンスを実現しています。
実際の実験では、AnyTeleopは、同じロボットを使って、より高い成功率で特定のロボットハードウェア用に設計された以前のシステムより優れている。
シミュレーションにおける遠隔操作では、AnyTeleopはそのシミュレータ用に特別に設計された以前のシステムと比較して、模倣学習のパフォーマンスが向上する。
プロジェクトページ:https://yzqin.github.io/anyteleop/。
関連論文リスト
- Unifying 3D Representation and Control of Diverse Robots with a Single Camera [48.279199537720714]
我々は,ロボットを視覚のみからモデル化し,制御することを自律的に学習するアーキテクチャであるNeural Jacobian Fieldsを紹介する。
提案手法は,正確なクローズドループ制御を実現し,各ロボットの因果動的構造を復元する。
論文 参考訳（メタデータ） (2024-07-11T17:55:49Z) - Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。
このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。
本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
論文 参考訳（メタデータ） (2024-07-01T17:55:35Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳（メタデータ） (2024-02-22T15:12:00Z) - Amplifying robotics capacities with a human touch: An immersive
low-latency panoramic remote system [16.97496024217201]
アバター (Avatar) システムは, 没入型低遅延パノラマロボットインタラクションプラットフォームである。
良好なネットワーク条件下では,357msの遅延で低遅延高精細パノラマ視体験を達成できた。
このシステムは、キャンパス、州、国、大陸にまたがる広大な物理的な距離を遠隔操作できる。
論文 参考訳（メタデータ） (2024-01-07T06:55:41Z) - WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。
本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。
我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
論文 参考訳（メタデータ） (2023-08-30T11:35:21Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳（メタデータ） (2023-07-12T07:04:53Z) - From One Hand to Multiple Hands: Imitation Learning for Dexterous
Manipulation from Single-Camera Teleoperation [26.738893736520364]
我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。
我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。
データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2022-04-26T17:59:51Z) - A Perspective on Robotic Telepresence and Teleoperation using Cognition:
Are we there yet? [0.0]
AI(Artificial Intelligence)革命がすでに始まっているため、さまざまなロボットアプリケーションが実現されています。
これらの技術は、医療、教育、監視、災害復旧、そして企業や政府部門において重要な応用例となる。
しかし、成熟度、セキュリティ、安全性についてはまだ疑問が残る。
論文 参考訳（メタデータ） (2022-03-06T13:10:00Z) - OpenBot: Turning Smartphones into Robots [95.94432031144716]
現在のロボットは高価か、感覚豊かさ、計算能力、通信能力に重大な妥協をもたらす。
我々はスマートフォンを活用して、センサースイート、強力な計算能力、最先端通信チャネル、繁栄するソフトウェアエコシステムへのアクセスなどを備えたロボットを装備することを提案する。
われわれは50ドルの小型電気自動車を設計し、標準のAndroidスマートフォンのロボットボディとして機能する。
論文 参考訳（メタデータ） (2020-08-24T18:04:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。