論文の概要: Single-view robot pose and joint angle estimation via render & compare
- arxiv url: http://arxiv.org/abs/2104.09359v1
- Date: Mon, 19 Apr 2021 14:48:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 13:34:36.895062
- Title: Single-view robot pose and joint angle estimation via render & compare
- Title(参考訳): レンダリングと比較による単視点ロボットポーズと関節角度推定
- Authors: Yann Labb\'e, Justin Carpentier, Mathieu Aubry, Josef Sivic
- Abstract要約: 本稿では,1枚のRGB画像から関節角度と6Dカメラとロボットのポーズを推定する手法であるRoboPoseを紹介する。
これは、モバイルおよび反復型自律システムに他のロボットと対話する能力を与える上で、重要な問題である。
- 参考スコア(独自算出の注目度): 40.05546237998603
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce RoboPose, a method to estimate the joint angles and the 6D
camera-to-robot pose of a known articulated robot from a single RGB image. This
is an important problem to grant mobile and itinerant autonomous systems the
ability to interact with other robots using only visual information in
non-instrumented environments, especially in the context of collaborative
robotics. It is also challenging because robots have many degrees of freedom
and an infinite space of possible configurations that often result in
self-occlusions and depth ambiguities when imaged by a single camera. The
contributions of this work are three-fold. First, we introduce a new render &
compare approach for estimating the 6D pose and joint angles of an articulated
robot that can be trained from synthetic data, generalizes to new unseen robot
configurations at test time, and can be applied to a variety of robots. Second,
we experimentally demonstrate the importance of the robot parametrization for
the iterative pose updates and design a parametrization strategy that is
independent of the robot structure. Finally, we show experimental results on
existing benchmark datasets for four different robots and demonstrate that our
method significantly outperforms the state of the art. Code and pre-trained
models are available on the project webpage
https://www.di.ens.fr/willow/research/robopose/.
- Abstract(参考訳): 本稿では,1枚のRGB画像から関節角度と6Dカメラとロボットのポーズを推定する手法であるRoboPoseを紹介する。
これは、非装備環境、特に協調ロボット工学の文脈において、他のロボットと視覚情報のみを使用して対話する能力をモバイルおよび反復自律システムに与える上で重要な問題である。
ロボットには多くの自由度と可能な構成の無限の空間があり、単一のカメラで撮影するとしばしば自己完結と深さの曖昧さが生じるため、これは難しい。
この作品の貢献は3倍である。
まず,合成データから学習可能な関節ロボットの6次元ポーズと関節角度を推定し,テスト時に未知のロボット構成に一般化し,様々なロボットに適用できる新しいレンダリング・アンド・コントラスト手法を提案する。
第2に,反復的なポーズ更新におけるロボットパラメトリゼーションの重要性を実験的に実証し,ロボット構造に依存しないパラメトリゼーション戦略を設計する。
最後に、4つの異なるロボットの既存のベンチマークデータセットに対して実験結果を示し、本手法が技量を著しく上回ることを示す。
コードと事前トレーニングされたモデルは、プロジェクトwebページhttps://www.di.ens.fr/willow/research/robopose/で入手できる。
関連論文リスト
- RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳(メタデータ) (2024-02-22T15:12:00Z) - Real-time Holistic Robot Pose Estimation with Unknown States [32.23145849683204]
RGB画像からロボットのポーズを推定することは、コンピュータビジョンとロボット工学において重要な問題である。
本稿では,1枚のRGB画像から実時間で総合的なポーズ推定を行うためのエンドツーエンドパイプラインを提案する。
本手法は,ロボットの状態パラメータ,キーポイント位置,ルート深さなど,カメラとロボットの回転を推定する。
論文 参考訳(メタデータ) (2024-02-08T13:12:50Z) - ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared
Latent Space [11.021217430606042]
本稿では,ロボットの動きに対する新しいディープラーニング手法を提案する。
本手法では,新しいロボットへの翻訳を容易にする,人間とロボットのペアデータを必要としない。
我々のモデルは、効率と精度の観点から、人間とロボットの類似性に関する既存の研究よりも優れています。
論文 参考訳(メタデータ) (2023-09-11T08:55:04Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳(メタデータ) (2023-07-12T07:04:53Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳(メタデータ) (2023-06-16T17:58:10Z) - External Camera-based Mobile Robot Pose Estimation for Collaborative
Perception with Smart Edge Sensors [22.5939915003931]
本稿では,移動ロボットのポーズを多視点RGB画像を用いた静的カメラネットワークのアロセントリック座標で推定する手法を提案する。
画像はオンラインで、深層ニューラルネットワークによってスマートエッジセンサーでローカルに処理され、ロボットを検出する。
ロボットのポーズを正確に推定すると、その観察は同中心のシーンモデルに融合することができる。
論文 参考訳(メタデータ) (2023-03-07T11:03:33Z) - Image-based Pose Estimation and Shape Reconstruction for Robot
Manipulators and Soft, Continuum Robots via Differentiable Rendering [20.62295718847247]
自律システムは3D世界における動きを捉えローカライズするためにセンサーに依存しているため、計測データからの状態推定はロボットアプリケーションにとって極めて重要である。
本研究では,カメラ画像から画像に基づくロボットのポーズ推定と形状再構成を実現する。
柔らかい連続ロボットの形状再構成において,幾何学的形状プリミティブを用いる手法が高精度であり,ロボットマニピュレータの姿勢推定が可能であることを実証した。
論文 参考訳(メタデータ) (2023-02-27T18:51:29Z) - ExAug: Robot-Conditioned Navigation Policies via Geometric Experience
Augmentation [73.63212031963843]
本研究では,多様な環境における複数のデータセットから異なるロボットプラットフォームを体験するための新しいフレームワークであるExAugを提案する。
トレーニングされたポリシーは、屋内と屋外の障害物のある3つの異なるカメラを備えた2つの新しいロボットプラットフォームで評価される。
論文 参考訳(メタデータ) (2022-10-14T01:32:15Z) - Embedded Computer Vision System Applied to a Four-Legged Line Follower
Robot [0.0]
本プロジェクトは,ロボットの視覚を動作に結びつけるコンピュータビジョン組み込みシステムを用いて,ロボットを駆動することを目的としている。
このロボットは典型的な移動ロボットの課題であるラインフォローに適用される。
次に移動する場所の決定は、経路の線の中心に基づいており、完全に自動化されている。
論文 参考訳(メタデータ) (2021-01-12T23:52:53Z) - Morphology-Agnostic Visual Robotic Control [76.44045983428701]
MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。
本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
論文 参考訳(メタデータ) (2019-12-31T15:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。