論文の概要: Open-TeleVision: Teleoperation with Immersive Active Visual Feedback

• arxiv url: http://arxiv.org/abs/2407.01512v2
• Date: Mon, 8 Jul 2024 16:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 00:40:30.966739
• Title: Open-TeleVision: Teleoperation with Immersive Active Visual Feedback
• Title（参考訳）: Open-TeleVision: 没入型アクティブビジュアルフィードバックによる遠隔操作
• Authors: Xuxin Cheng, Jialong Li, Shiqi Yang, Ge Yang, Xiaolong Wang,
• Abstract要約: Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。 このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。 本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
• 参考スコア（独自算出の注目度）: 17.505318269362512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Teleoperation serves as a powerful method for collecting on-robot data essential for robot learning from demonstrations. The intuitiveness and ease of use of the teleoperation system are crucial for ensuring high-quality, diverse, and scalable data. To achieve this, we propose an immersive teleoperation system Open-TeleVision that allows operators to actively perceive the robot's surroundings in a stereoscopic manner. Additionally, the system mirrors the operator's arm and hand movements on the robot, creating an immersive experience as if the operator's mind is transmitted to a robot embodiment. We validate the effectiveness of our system by collecting data and training imitation learning policies on four long-horizon, precise tasks (Can Sorting, Can Insertion, Folding, and Unloading) for 2 different humanoid robots and deploy them in the real world. The system is open-sourced at: https://robot-tv.github.io/
• Abstract（参考訳）: 遠隔操作は、デモからロボット学習に必要なオンロボットデータを収集する強力な方法として機能する。 テレオペレーションシステムの直感性と使いやすさは、高品質で多様な、スケーラブルなデータを保証するために不可欠である。 そこで我々は,ロボットの周囲を立体的に知覚できる没入型遠隔操作システムOpen-TeleVisionを提案する。 さらに、操作者の腕と手の動きをロボットに反映し、操作者の心がロボットの体感に伝達されるような没入感を与える。 本研究では,2種類のヒューマノイドロボットに対する4つの長期的高精度タスク(Can Sorting, Can Insertion, Folding, Unloading)のデータ収集と模倣学習ポリシーの訓練により,本システムの有効性を検証する。 このシステムは、https://robot-tv.github.io/でオープンソース化されている。

関連論文リスト

• Human-Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition [48.65867987106428]
  本稿では,人間とロボットの協調学習システムについて紹介する。 これにより、ロボットエンドエフェクターの制御を学習支援エージェントと共有することができる。 これにより、ダウンストリームタスクにおいて、収集されたデータが十分な品質であることを保証しながら、人間の適応の必要性を減らすことができる。
  論文  参考訳（メタデータ） (2024-06-29T03:37:29Z)
• ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data [28.36623343236893]
  我々は,同期音声と視覚的フィードバックを伴って人体でのデモを収集する「アー・イン・ハンド」データ収集装置であるManiWAVを紹介する。 また,本システムでは,多種多様な人間の実演から学習することで,未知の環境に一般化できることを示す。
  論文  参考訳（メタデータ） (2024-06-27T18:06:38Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System [51.48191418148764]
  ビジョンベースの遠隔操作は、人間レベルの知性をロボットに与え、環境と対話させる。 現在のビジョンベースの遠隔操作システムは、特定のロボットモデルとデプロイ環境に向けて設計・設計されている。 我々は、複数の異なる腕、手、現実、カメラ構成を単一のシステム内でサポートする、統一的で汎用的な遠隔操作システムであるAnyTeleopを提案する。
  論文  参考訳（メタデータ） (2023-07-10T14:11:07Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation [49.925499720323806]
  視覚的、聴覚的、触覚的知覚が、ロボットが複雑な操作タスクを解くのにどのように役立つかを研究する。 私たちは、カメラで見たり、コンタクトマイクで聞いたり、視覚ベースの触覚センサーで感じるロボットシステムを構築しました。
  論文  参考訳（メタデータ） (2022-12-07T18:55:53Z)
• From One Hand to Multiple Hands: Imitation Learning for Dexterous Manipulation from Single-Camera Teleoperation [26.738893736520364]
  我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。 我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。 データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2022-04-26T17:59:51Z)
• OpenBot: Turning Smartphones into Robots [95.94432031144716]
  現在のロボットは高価か、感覚豊かさ、計算能力、通信能力に重大な妥協をもたらす。 我々はスマートフォンを活用して、センサースイート、強力な計算能力、最先端通信チャネル、繁栄するソフトウェアエコシステムへのアクセスなどを備えたロボットを装備することを提案する。 われわれは50ドルの小型電気自動車を設計し、標準のAndroidスマートフォンのロボットボディとして機能する。
  論文  参考訳（メタデータ） (2020-08-24T18:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。