論文の概要: A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU
- arxiv url: http://arxiv.org/abs/2003.05212v1
- Date: Wed, 11 Mar 2020 10:57:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 15:53:24.253150
- Title: A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU
- Title（参考訳）: ビジョンとIMUによる移動ロボットハンドアーム遠隔操作システム
- Authors: Shuang Li, Jiaxi Jiang, Philipp Ruppel, Hongzhuo Liang, Xiaojian Ma,
Norman Hendrich, Fuchun Sun, Jianwei Zhang
- Abstract要約: 本稿では,新しい視覚に基づく手ポーズ回帰ネットワーク(Transteleop)とIMUによる腕追跡手法を提案する。
Transteleopは低コストの深度カメラを通して人間の手を観察し、ペアのロボットハンドポーズの深度画像を生成する。
ウェアラブルカメラホルダは、同時ハンドアーム制御を可能にし、遠隔操作システム全体の移動を容易にする。
- 参考スコア（独自算出の注目度）: 25.451864296962288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a multimodal mobile teleoperation system that
consists of a novel vision-based hand pose regression network (Transteleop) and
an IMU-based arm tracking method. Transteleop observes the human hand through a
low-cost depth camera and generates not only joint angles but also depth images
of paired robot hand poses through an image-to-image translation process. A
keypoint-based reconstruction loss explores the resemblance in appearance and
anatomy between human and robotic hands and enriches the local features of
reconstructed images. A wearable camera holder enables simultaneous hand-arm
control and facilitates the mobility of the whole teleoperation system. Network
evaluation results on a test dataset and a variety of complex manipulation
tasks that go beyond simple pick-and-place operations show the efficiency and
stability of our multimodal teleoperation system.
- Abstract（参考訳）: 本稿では,新しい視覚ベースの手ポーズ回帰ネットワーク(Transteleop)とIMUベースのアームトラッキング方式を組み合わせたマルチモーダル移動遠隔操作システムを提案する。
Transteleopは、低コストの深度カメラを通して人間の手を観察し、画像と画像の変換プロセスを通じて、関節角だけでなく、ペアのロボットハンドの深度画像を生成する。
キーポイントに基づく再構成損失は、人間とロボットの手の外観と解剖の類似性を調べ、再構成画像の局所的特徴を豊かにする。
ウェアラブルカメラホルダは、同時ハンドアーム制御を可能にし、遠隔操作システム全体の移動を容易にする。
テストデータセットのネットワーク評価結果と、単純なピック・アンド・プレイス操作を超える複雑な操作タスクは、我々のマルチモーダル遠隔操作システムの効率と安定性を示している。
関連論文リスト
- ACE: A Cross-Platform Visual-Exoskeletons System for Low-Cost Dexterous Teleoperation [25.679146657293778]
多様なロボットプラットフォームにまたがる効率的な遠隔操作システムの構築は、これまで以上に重要になっている。
我々は、低コストなデキスタラス遠隔操作のためのクロスプラットフォームビジュアル・エクソスケルトンシステムであるACEを開発した。
従来のシステムと比較して、我々の単一のシステムは、高精度な遠隔操作を備えたヒューマノイドハンド、アームハンド、アームグリッパー、四重化グリッパーシステムに一般化することができる。
論文 参考訳（メタデータ） (2024-08-21T17:48:31Z) - Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。
このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。
本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
論文 参考訳（メタデータ） (2024-07-01T17:55:35Z) - Human-Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition [48.65867987106428]
本稿では,人間とロボットの協調学習システムについて紹介する。
これにより、ロボットエンドエフェクターの制御を学習支援エージェントと共有することができる。
これにより、ダウンストリームタスクにおいて、収集されたデータが十分な品質であることを保証しながら、人間の適応の必要性を減らすことができる。
論文 参考訳（メタデータ） (2024-06-29T03:37:29Z) - Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。
我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。
提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
論文 参考訳（メタデータ） (2024-03-25T05:12:21Z) - AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System [51.48191418148764]
ビジョンベースの遠隔操作は、人間レベルの知性をロボットに与え、環境と対話させる。
現在のビジョンベースの遠隔操作システムは、特定のロボットモデルとデプロイ環境に向けて設計・設計されている。
我々は、複数の異なる腕、手、現実、カメラ構成を単一のシステム内でサポートする、統一的で汎用的な遠隔操作システムであるAnyTeleopを提案する。
論文 参考訳（メタデータ） (2023-07-10T14:11:07Z) - Dexterous Manipulation from Images: Autonomous Real-World RL via Substep
Guidance [71.36749876465618]
本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。
本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。
実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
論文 参考訳（メタデータ） (2022-12-19T22:50:40Z) - From One Hand to Multiple Hands: Imitation Learning for Dexterous
Manipulation from Single-Camera Teleoperation [26.738893736520364]
我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。
我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。
データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2022-04-26T17:59:51Z) - Single RGB-D Camera Teleoperation for General Robotic Manipulation [25.345197924615793]
人間のモーションキャプチャー装置として1台のRGB-Dカメラを用いた遠隔操作システムを提案する。
本システムでは, 布の折り畳み, 打抜き, 穴内の3mmクリアランスペグなど, 汎用的な操作を行うことができる。
論文 参考訳（メタデータ） (2021-06-28T05:07:17Z) - HANDS: A Multimodal Dataset for Modeling Towards Human Grasp Intent
Inference in Prosthetic Hands [3.7886097009023376]
未来の高度な義手は、ロボットハンドと人間のユーザーとの共有制御の改善の恩恵を受けると予想されている。
マルチモーダルセンサーデータには、視覚を含む様々な環境センサーと、人間の生理と行動センサーが含まれる。
環境状態と人間の意図推定のための融合手法は、これらの証拠の源を組み合わせることで、義手の動き計画と制御を支援する。
論文 参考訳（メタデータ） (2021-03-08T15:51:03Z) - Learning Multi-Arm Manipulation Through Collaborative Teleoperation [63.35924708783826]
模倣学習(il)はロボットに操作タスクを実行するための強力なパラダイムである。
多くの現実世界のタスクは、重い物体を持ち上げる、デスクを組み立てるなど、複数のアームを必要とする。
複数のリモートユーザが同時にロボットアームを遠隔操作できるマルチユーザデータ収集プラットフォームであるMulti-Arm RoboTurk(MART)を紹介した。
論文 参考訳（メタデータ） (2020-12-12T05:43:43Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。