論文の概要: Virtual Reality via Object Poses and Active Learning: Realizing Telepresence Robots with Aerial Manipulation Capabilities

• arxiv url: http://arxiv.org/abs/2210.09678v1
• Date: Tue, 18 Oct 2022 08:42:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:10:45.971602
• Title: Virtual Reality via Object Poses and Active Learning: Realizing Telepresence Robots with Aerial Manipulation Capabilities
• Title（参考訳）: オブジェクトポーザとアクティブラーニングによるバーチャルリアリティ:空中マニピュレーション機能を備えたテレプレゼンスロボットの実現
• Authors: Jongseok Lee, Ribin Balachandran, Konstantin Kondak, Andre Coelho, Marco De Stefano, Matthias Humt, Jianxiang Feng, Tamim Asfour, Rudolph Triebel
• Abstract要約: 本稿では,動的・非構造環境下での空中操作を進展させる新しいテレプレゼンスシステムを提案する。 提案システムは触覚デバイスだけでなく、ロボットのワークスペースのリアルタイム3Dディスプレイを提供する仮想現実(VR)インターフェースも備えている。 DLRケーブル・サスペンド・エアリアルマニピュレータ(SAM)によるピック・アンド・プレイス、フォース・アプリケーション、ペグ・イン・ホールの70以上の堅牢な実行を示す。
• 参考スコア（独自算出の注目度）: 39.29763956979895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article presents a novel telepresence system for advancing aerial manipulation in dynamic and unstructured environments. The proposed system not only features a haptic device, but also a virtual reality (VR) interface that provides real-time 3D displays of the robot's workspace as well as a haptic guidance to its remotely located operator. To realize this, multiple sensors namely a LiDAR, cameras and IMUs are utilized. For processing of the acquired sensory data, pose estimation pipelines are devised for industrial objects of both known and unknown geometries. We further propose an active learning pipeline in order to increase the sample efficiency of a pipeline component that relies on Deep Neural Networks (DNNs) based object detection. All these algorithms jointly address various challenges encountered during the execution of perception tasks in industrial scenarios. In the experiments, exhaustive ablation studies are provided to validate the proposed pipelines. Methodologically, these results commonly suggest how an awareness of the algorithms' own failures and uncertainty ("introspection") can be used tackle the encountered problems. Moreover, outdoor experiments are conducted to evaluate the effectiveness of the overall system in enhancing aerial manipulation capabilities. In particular, with flight campaigns over days and nights, from spring to winter, and with different users and locations, we demonstrate over 70 robust executions of pick-and-place, force application and peg-in-hole tasks with the DLR cable-Suspended Aerial Manipulator (SAM). As a result, we show the viability of the proposed system in future industrial applications.
• Abstract（参考訳）: 本稿では,動的・非構造環境下での空中操作を進展させる新しいテレプレゼンスシステムを提案する。 提案システムは触覚デバイスだけでなく,ロボットのワークスペースをリアルタイムに3D表示し,遠隔操作者への触覚誘導を行う仮想現実(VR)インターフェースも備えている。 これを実現するために、複数のセンサー、すなわちLiDAR、カメラ、IMUが使用される。 得られたセンサデータの処理には、未知の測地と未知の測地の両方の産業オブジェクトに対して、ポーズ推定パイプラインが考案される。 さらに,深層ニューラルネットワーク(dnn)に基づく物体検出に依存するパイプラインコンポーネントのサンプル効率を向上させるために,アクティブな学習パイプラインを提案する。 これらのアルゴリズムはすべて、産業シナリオにおける知覚タスクの実行中に遭遇するさまざまな課題に対処する。 実験では,提案するパイプラインを検証するため,排他的アブレーション実験を行った。 方法論的に、これらの結果は一般的にアルゴリズムの失敗と不確実性(検査)に対する認識が、遭遇した問題にどのように対処できるかを示唆している。 さらに, 航空操作能力向上のための総合システムの有効性を評価するために, 野外実験を行った。 特に, 昼夜, 春から冬, ユーザと場所の異なる飛行キャンペーンにおいて, dlrケーブルによる空中マニピュレータ (sam) を用いた70以上の頑健なピック・アンド・プレース, フォース・アプリケーション, peg-in-hole タスクを実演した。 その結果,今後の産業応用において提案するシステムの実現可能性を示す。

関連論文リスト

• Deep Active Perception for Object Detection using Navigation Proposals [39.52573252842573]
  オブジェクト検出のための汎用的な教師付き能動知覚パイプラインを提案する。 既存のオフ・ザ・シェルフ・オブジェクト・ディテクターを使って訓練でき、シミュレーション環境の進歩も活用できる。 提案手法は, Webots ロボットシミュレータ内に構築された合成データセットを用いて評価した。
  論文  参考訳（メタデータ） (2023-12-15T20:55:52Z)
• Efficient Real-time Smoke Filtration with 3D LiDAR for Search and Rescue with Autonomous Heterogeneous Robotic Systems [56.838297900091426]
  スモークとダストは、搭載された知覚システムに依存するため、あらゆる移動ロボットプラットフォームの性能に影響を与える。 本稿では,重みと空間情報に基づく新しいモジュラー計算フィルタを提案する。
  論文  参考訳（メタデータ） (2023-08-14T16:48:57Z)
• Active Perception Applied To Unmanned Aerial Vehicles Through Deep Reinforcement Learning [0.5161531917413708]
  本研究は,水面構造物の追跡・認識の問題に取り組むことで,UAVのアクティブな認識に寄与することを目的としている。 本稿では,従来の画像処理技術とDeep-RL(Deep Reinforcement Learning, 深層強化学習)エージェントを用いて,環境を知覚し,不確実性に対処できることを示す。
  論文  参考訳（メタデータ） (2022-09-13T22:51:34Z)
• GraspLook: a VR-based Telemanipulation System with R-CNN-driven Augmentation of Virtual Environment [3.7003629688390896]
  本稿では,拡張仮想環境に基づく遠隔操作システムを提案する。 開発システムでは,ロボットをよりスムーズに操作でき,タスク実行時間が短縮される。
  論文  参考訳（メタデータ） (2021-10-24T19:50:39Z)
• Cycle and Semantic Consistent Adversarial Domain Adaptation for Reducing Simulation-to-Real Domain Shift in LiDAR Bird's Eye View [110.83289076967895]
  ドメイン適応プロセス中に関心のある小さなオブジェクトの情報を保存するために,事前の意味分類を用いたサイクガンに基づくbevドメイン適応法を提案する。 生成したBEVの品質は,KITTI 3D Object Detection Benchmarkの最先端3Dオブジェクト検出フレームワークを用いて評価されている。
  論文  参考訳（メタデータ） (2021-04-22T12:47:37Z)
• Multi-Agent Active Search using Realistic Depth-Aware Noise Model [8.520962086877548]
  未知の環境における関心のある物体の活発な探索には、探索と救助、ガス漏れの検出、動物の密猟者の発見など、多くのロボティクスの応用がある。 既存のアルゴリズムでは、対象物の位置精度を優先することが多いが、距離や視線の関数としての物体検出の信頼性などの実用的問題は無視されている。 モノクラー光学画像と深度マップからの2つの感覚情報に基づいて,複数の地上ロボットに対して,これらの問題に対処するアルゴリズムをNATS(Noss-Aware Thompson Sampling)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-09T23:20:55Z)
• Perceiving Traffic from Aerial Images [86.994032967469]
  本研究では,空中画像中の物体を検出するために,バタフライ検出器と呼ばれる物体検出手法を提案する。 UAVDT(UAVDT)とVisDrone 2019(VisDrone 2019)の2つのUAVデータセット上でButterfly Detectorを評価し、従来の最先端の手法よりも高速に動作し、かつリアルタイムに動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-16T11:37:43Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• Understanding Multi-Modal Perception Using Behavioral Cloning for Peg-In-a-Hole Insertion Tasks [21.275342989110978]
  本稿では,実世界の組立作業における制御器を学習するために,複数のセンサモードが組み合わさった場合の利点について検討する。 動作クローン法の性能を向上させるために, マルチステップ・アヘッド・ロス関数を提案する。
  論文  参考訳（メタデータ） (2020-07-22T19:46:51Z)
• Transferable Active Grasping and Real Embodied Dataset [48.887567134129306]
  ハンドマウント型RGB-Dカメラを用いて把握可能な視点を探索する方法を示す。 現実的な3段階の移動可能な能動把握パイプラインを開発し、未確認のクラッタシーンに適応する。 本研究のパイプラインでは,カテゴリ非関連行動の把握と確保において,スパース報酬問題を克服するために,新しいマスク誘導報酬を提案する。
  論文  参考訳（メタデータ） (2020-04-28T08:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。