論文の概要: Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning

• arxiv url: http://arxiv.org/abs/2407.03162v1
• Date: Wed, 3 Jul 2024 14:35:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 13:46:50.825419
• Title: Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning
• Title（参考訳）: Bunny-VisionPro:Imitation Learningのためのリアルタイム双方向遠隔操作
• Authors: Runyu Ding, Yuzhe Qin, Jiyue Zhu, Chengzhe Jia, Shiqi Yang, Ruihan Yang, Xiaojuan Qi, Xiaolong Wang,
• Abstract要約: 本稿では,VRヘッドセットを活用したリアルタイム双方向デキスタラス遠隔操作システムであるBunny-VisionProを紹介する。 従来のビジョンベースの遠隔操作システムとは異なり、我々は演算子に触覚フィードバックを提供するために、新しい低コストデバイスを設計する。 Bunny-VisionProは、標準的なタスクスイートで以前のシステムよりも優れており、より高い成功率とタスク完了時間の短縮を実現している。
• 参考スコア（独自算出の注目度）: 46.825127991899784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Teleoperation is a crucial tool for collecting human demonstrations, but controlling robots with bimanual dexterous hands remains a challenge. Existing teleoperation systems struggle to handle the complexity of coordinating two hands for intricate manipulations. We introduce Bunny-VisionPro, a real-time bimanual dexterous teleoperation system that leverages a VR headset. Unlike previous vision-based teleoperation systems, we design novel low-cost devices to provide haptic feedback to the operator, enhancing immersion. Our system prioritizes safety by incorporating collision and singularity avoidance while maintaining real-time performance through innovative designs. Bunny-VisionPro outperforms prior systems on a standard task suite, achieving higher success rates and reduced task completion times. Moreover, the high-quality teleoperation demonstrations improve downstream imitation learning performance, leading to better generalizability. Notably, Bunny-VisionPro enables imitation learning with challenging multi-stage, long-horizon dexterous manipulation tasks, which have rarely been addressed in previous work. Our system's ability to handle bimanual manipulations while prioritizing safety and real-time performance makes it a powerful tool for advancing dexterous manipulation and imitation learning.
• Abstract（参考訳）: 遠隔操作は人間のデモを集める上で重要なツールだが、ロボットを両手で操作することは依然として課題だ。 既存の遠隔操作システムは、複雑な操作のために両手を協調する複雑さを扱うのに苦労している。 本稿では,VRヘッドセットを活用したリアルタイム双方向デキスタラス遠隔操作システムであるBunny-VisionProを紹介する。 従来のビジョンベースの遠隔操作システムとは異なり、我々は新しい低コストデバイスを設計し、オペレーターに触覚フィードバックを提供し、没入性を高めた。 本システムは,革新的設計によるリアルタイム性能を維持しつつ,衝突や特異点回避を組み込むことで安全性を優先する。 Bunny-VisionProは、標準的なタスクスイートで以前のシステムよりも優れており、より高い成功率とタスク完了時間の短縮を実現している。 さらに、高品質な遠隔操作デモにより、下流での模倣学習性能が向上し、一般化性が向上する。 特に、Bunny-VisionProは、従来の作業ではめったに扱わなかった、多段階の長時間水平な操作タスクに挑戦する模倣学習を可能にする。 安全性とリアルタイム性能を優先しながら双方向操作を処理できるシステムの能力は、巧妙な操作と模倣学習を促進する強力なツールとなる。

関連論文リスト

• Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
  Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。 このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。 本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
  論文  参考訳（メタデータ） (2024-07-01T17:55:35Z)
• Human-Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition [48.65867987106428]
  本稿では,人間とロボットの協調学習システムについて紹介する。 これにより、ロボットエンドエフェクターの制御を学習支援エージェントと共有することができる。 また、人間の操作者は、手動制御と自動制御のトレードオフを達成するために制御比率を調整できる。
  論文  参考訳（メタデータ） (2024-06-29T03:37:29Z)
• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• RealDex: Towards Human-like Grasping for Robotic Dexterous Hand [64.47045863999061]
  本稿では,人間の行動パターンを取り入れた手の動きを正確に把握する先駆的データセットであるRealDexを紹介する。 RealDexは、現実のシナリオにおける認識、認識、操作を自動化するためのヒューマノイドロボットを進化させる上で、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-02-21T14:59:46Z)
• AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System [51.48191418148764]
  ビジョンベースの遠隔操作は、人間レベルの知性をロボットに与え、環境と対話させる。 現在のビジョンベースの遠隔操作システムは、特定のロボットモデルとデプロイ環境に向けて設計・設計されている。 我々は、複数の異なる腕、手、現実、カメラ構成を単一のシステム内でサポートする、統一的で汎用的な遠隔操作システムであるAnyTeleopを提案する。
  論文  参考訳（メタデータ） (2023-07-10T14:11:07Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Robotic Surgery Remote Mentoring via AR with 3D Scene Streaming and Hand Interaction [14.64569748299962]
  本稿では,3次元シーンの可視化と自然な3次元手動インタラクションを併用した,ARによるロボット手術遠隔指導システムを提案する。 ヘッドマウントディスプレイ(HoloLens)を使用して、メンターは訓練生の操作側から流れる手順を遠隔で監視することができる。 実際の手術ステレオビデオと、一般的なロボット訓練作業の生き残りシナリオの両方において、本システムを検証した。
  論文  参考訳（メタデータ） (2022-04-09T03:17:15Z)
• Non-invasive Cognitive-level Human Interfacing for the Robotic Restoration of Reaching & Grasping [5.985098076571228]
  本稿では,人間の腕と指を動作させるロボットシステムを提案する。 ウェアラブルアイトラッキング、環境の視覚的コンテキスト、人間の行動の構造文法を組み合わせて、認知レベルの支援ロボットセットアップを作成します。
  論文  参考訳（メタデータ） (2021-02-25T16:32:04Z)
• A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU [25.451864296962288]
  本稿では,新しい視覚に基づく手ポーズ回帰ネットワーク(Transteleop)とIMUによる腕追跡手法を提案する。 Transteleopは低コストの深度カメラを通して人間の手を観察し、ペアのロボットハンドポーズの深度画像を生成する。 ウェアラブルカメラホルダは、同時ハンドアーム制御を可能にし、遠隔操作システム全体の移動を容易にする。
  論文  参考訳（メタデータ） (2020-03-11T10:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。