論文の概要: Pose Estimation for Robot Manipulators via Keypoint Optimization and
Sim-to-Real Transfer
- arxiv url: http://arxiv.org/abs/2010.08054v3
- Date: Tue, 8 Feb 2022 00:26:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 05:13:26.255813
- Title: Pose Estimation for Robot Manipulators via Keypoint Optimization and
Sim-to-Real Transfer
- Title(参考訳): keypoint optimization と sim-to-real transfer によるロボットマニピュレータのポーズ推定
- Authors: Jingpei Lu, Florian Richter, Michael Yip
- Abstract要約: キーポイント検出は多くのロボットアプリケーションにとって重要なビルディングブロックである。
ディープラーニング手法は、マーカーのない方法でユーザ定義キーポイントを検出できる。
これらの課題を克服するキーポイントを定義するための,新たな自律的手法を提案する。
- 参考スコア(独自算出の注目度): 10.369766652751169
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Keypoint detection is an essential building block for many robotic
applications like motion capture and pose estimation. Historically, keypoints
are detected using uniquely engineered markers such as checkerboards or
fiducials. More recently, deep learning methods have been explored as they have
the ability to detect user-defined keypoints in a marker-less manner. However,
different manually selected keypoints can have uneven performance when it comes
to detection and localization. An example of this can be found on symmetric
robotic tools where DNN detectors cannot solve the correspondence problem
correctly. In this work, we propose a new and autonomous way to define the
keypoint locations that overcomes these challenges. The approach involves
finding the optimal set of keypoints on robotic manipulators for robust visual
detection and localization. Using a robotic simulator as a medium, our
algorithm utilizes synthetic data for DNN training, and the proposed algorithm
is used to optimize the selection of keypoints through an iterative approach.
The results show that when using the optimized keypoints, the detection
performance of the DNNs improved significantly. We further use the optimized
keypoints for real robotic applications by using domain randomization to bridge
the reality gap between the simulator and the physical world. The physical
world experiments show how the proposed method can be applied to the
wide-breadth of robotic applications that require visual feedback, such as
camera-to-robot calibration, robotic tool tracking, and end-effector pose
estimation.
- Abstract(参考訳): キーポイント検出は、モーションキャプチャやポーズ推定など、多くのロボットアプリケーションにとって必須のビルディングブロックである。
歴史的には、キーポイントはチェッカーボードやfiducialsのような独自に設計されたマーカーを使って検出される。
近年,ユーザ定義キーポイントをマーカーのない方法で検出する手段として,ディープラーニング手法が研究されている。
しかし、手動で選択したキーポイントは、検出とローカライゼーションに関して不均一なパフォーマンスを持つ。
この例は、dnn検出器が対応問題を正しく解くことができない対称ロボットツールで見ることができる。
本研究では,これらの課題を克服するキーポイント位置を定義するための,新しい自律的な手法を提案する。
このアプローチでは、ロボットマニピュレータ上のキーポイントの最適なセットを見つけ、堅牢な視覚検出とローカライズを行う。
ロボットシミュレータを媒体として,本アルゴリズムはDNNトレーニングのための合成データを使用し,提案アルゴリズムは反復的アプローチによりキーポイントの選択を最適化するために用いられる。
その結果,最適化キーポイントを用いた場合,DNNの検出性能は大幅に向上した。
さらに,シミュレーションと物理世界との間の現実のギャップを埋めるために,ドメインランダム化を用いて,実際のロボットアプリケーションのために最適化されたキーポイントを使用する。
物理世界実験では,提案手法が,カメラからロボットへのキャリブレーション,ロボットツール追跡,エンドエフェクタポーズ推定などの視覚フィードバックを必要とするロボットアプリケーションに適用可能であることを示す。
関連論文リスト
- Active Visual Localization for Multi-Agent Collaboration: A Data-Driven
Approach [51.75186763756072]
本研究は、視点変化の課題を克服するために、アクティブな視覚的ローカライゼーションをどのように利用できるかを検討する。
具体的には、与えられた場所における最適な視点を選択する問題に焦点をあてる。
その結果,既存の手法と比較して,データ駆動方式の方が優れた性能を示した。
論文 参考訳(メタデータ) (2023-10-04T08:18:30Z) - HPointLoc: Point-based Indoor Place Recognition using Synthetic RGB-D
Images [58.720142291102135]
本稿では,屋内環境における視覚的位置認識能力の探索を目的とした,HPointLocという新しいデータセットを提案する。
データセットは人気のあるHabitatシミュレータに基づいており、独自のセンサーデータとオープンデータセットの両方を使用して屋内シーンを生成することができる。
論文 参考訳(メタデータ) (2022-12-30T12:20:56Z) - Centroid Distance Keypoint Detector for Colored Point Clouds [32.74803728070627]
キーポイント検出は多くのコンピュータビジョンとロボティクスアプリケーションの基礎となる。
そこで本研究では,色点雲中の幾何塩分と色塩分の両方のキーポイントを抽出できる効率的なマルチモーダルキーポイント検出器を提案する。
論文 参考訳(メタデータ) (2022-10-04T00:55:51Z) - Robot Self-Calibration Using Actuated 3D Sensors [0.0]
本稿では,ロボットのキャリブレーションをオフラインのSLAM問題として扱う。
これにより、任意の眼深度センサのみを用いてロボットのキャリブレーションを行うことができる。
各種の3Dセンサーを装着した実ロボットに対して,システムの詳細評価を行った。
論文 参考訳(メタデータ) (2022-06-07T16:35:08Z) - Bayesian Imitation Learning for End-to-End Mobile Manipulation [80.47771322489422]
RGB + 深度カメラのような追加のセンサー入力によるポリシーの強化は、ロボットの知覚能力を改善するための簡単なアプローチである。
畳み込みニューラルネットワークを正規化するために変分情報ボトルネックを用いることで、保持領域への一般化が向上することを示す。
提案手法は, シミュレーションと現実のギャップを埋めることと, RGBと奥行き変調をうまく融合できることを実証する。
論文 参考訳(メタデータ) (2022-02-15T17:38:30Z) - End-to-end Reinforcement Learning of Robotic Manipulation with Robust
Keypoints Representation [7.374994747693731]
本稿では,ロバストかつ効率的なキーポイント表現を用いて,ロボット操作タスクのためのエンドツーエンド強化学習フレームワークを提案する。
提案手法は,自己教師型オートエンコーダアーキテクチャを用いて,カメラ画像からキーポイントを状態表現として学習する。
本研究では,ロボット操作作業におけるロボット操作の有効性を,異なるシナリオで示す。
論文 参考訳(メタデータ) (2022-02-12T09:58:09Z) - CNN-based Omnidirectional Object Detection for HermesBot Autonomous
Delivery Robot with Preliminary Frame Classification [53.56290185900837]
予備的バイナリフレーム分類を用いた物体検出のためのニューラルネットワークの最適化アルゴリズムを提案する。
周囲に6台のローリングシャッターカメラを備えた自律移動ロボットを360度視野として実験装置として使用した。
論文 参考訳(メタデータ) (2021-10-22T15:05:37Z) - Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。
以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
論文 参考訳(メタデータ) (2021-04-21T00:35:32Z) - A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。
我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。
我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
論文 参考訳(メタデータ) (2020-11-17T22:24:26Z) - Real-Time Object Detection and Recognition on Low-Compute Humanoid
Robots using Deep Learning [0.12599533416395764]
本稿では、複数の低計算NAOロボットがカメラビューにおける物体のリアルタイム検出、認識、位置決めを行うことを可能にする新しいアーキテクチャについて述べる。
オブジェクト検出と局所化のためのアルゴリズムは,複数のシナリオにおける屋内実験に基づくYOLOv3の実証的な修正である。
このアーキテクチャは、カメラフィードからニューラルネットにリアルタイムフレームを供給し、その結果を使ってロボットを誘導する効果的なエンドツーエンドパイプラインも備えている。
論文 参考訳(メタデータ) (2020-01-20T05:24:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。