論文の概要: Image-based Pose Estimation and Shape Reconstruction for Robot
Manipulators and Soft, Continuum Robots via Differentiable Rendering
- arxiv url: http://arxiv.org/abs/2302.14039v1
- Date: Mon, 27 Feb 2023 18:51:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 14:14:07.098611
- Title: Image-based Pose Estimation and Shape Reconstruction for Robot
Manipulators and Soft, Continuum Robots via Differentiable Rendering
- Title(参考訳): ロボットマニピュレータとソフト・連続ロボットの識別可能なレンダリングによる画像に基づく姿勢推定と形状再構成
- Authors: Jingpei Lu, Fei Liu, Cedric Girerd, Michael C. Yip
- Abstract要約: 自律システムは3D世界における動きを捉えローカライズするためにセンサーに依存しているため、計測データからの状態推定はロボットアプリケーションにとって極めて重要である。
本研究では,カメラ画像から画像に基づくロボットのポーズ推定と形状再構成を実現する。
柔らかい連続ロボットの形状再構成において,幾何学的形状プリミティブを用いる手法が高精度であり,ロボットマニピュレータの姿勢推定が可能であることを実証した。
- 参考スコア(独自算出の注目度): 20.62295718847247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State estimation from measured data is crucial for robotic applications as
autonomous systems rely on sensors to capture the motion and localize in the 3D
world. Among sensors that are designed for measuring a robot's pose, or for
soft robots, their shape, vision sensors are favorable because they are
information-rich, easy to set up, and cost-effective. With recent advancements
in computer vision, deep learning-based methods no longer require markers for
identifying feature points on the robot. However, learning-based methods are
data-hungry and hence not suitable for soft and prototyping robots, as building
such bench-marking datasets is usually infeasible. In this work, we achieve
image-based robot pose estimation and shape reconstruction from camera images.
Our method requires no precise robot meshes, but rather utilizes a
differentiable renderer and primitive shapes. It hence can be applied to robots
for which CAD models might not be available or are crude. Our parameter
estimation pipeline is fully differentiable. The robot shape and pose are
estimated iteratively by back-propagating the image loss to update the
parameters. We demonstrate that our method of using geometrical shape
primitives can achieve high accuracy in shape reconstruction for a soft
continuum robot and pose estimation for a robot manipulator.
- Abstract(参考訳): 自律システムは3d世界の動きをキャプチャし局所化するセンサーに依存しているため、計測されたデータからの状態推定はロボットに不可欠である。
ロボットのポーズやソフトロボットの形状を測定するために設計されたセンサーのうち、視覚センサーは情報量が多く、セットアップが容易でコスト効率が良いため好都合である。
最近のコンピュータビジョンの進歩により、ディープラーニングベースの方法はもはやロボットの特徴点を特定するためにマーカーを必要としない。
しかし、学習ベースの手法はデータ重視であり、それゆえにソフトでプロトタイピングのロボットには適さない。
本研究では,カメラ画像からイメージベースロボットのポーズ推定と形状復元を実現する。
本手法では,正確なロボットメッシュを必要とせず,微分可能なレンダラとプリミティブ形状を用いる。
したがって、CADモデルが入手できない、あるいは粗末なロボットに適用することができる。
パラメータ推定パイプラインは完全に微分可能である。
画像損失をバックプロパゲーションしてパラメータを更新することにより、ロボット形状とポーズを反復的に推定する。
柔らかい連続ロボットの形状再構成において,幾何学的形状プリミティブを用いる手法が高精度であり,ロボットマニピュレータの姿勢推定が可能であることを示す。
関連論文リスト
- Real-time Holistic Robot Pose Estimation with Unknown States [32.23145849683204]
RGB画像からロボットのポーズを推定することは、コンピュータビジョンとロボット工学において重要な問題である。
本稿では,1枚のRGB画像から実時間で総合的なポーズ推定を行うためのエンドツーエンドパイプラインを提案する。
本手法は,ロボットの状態パラメータ,キーポイント位置,ルート深さなど,カメラとロボットの回転を推定する。
論文 参考訳(メタデータ) (2024-02-08T13:12:50Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳(メタデータ) (2023-06-16T17:58:10Z) - External Camera-based Mobile Robot Pose Estimation for Collaborative
Perception with Smart Edge Sensors [22.5939915003931]
本稿では,移動ロボットのポーズを多視点RGB画像を用いた静的カメラネットワークのアロセントリック座標で推定する手法を提案する。
画像はオンラインで、深層ニューラルネットワークによってスマートエッジセンサーでローカルに処理され、ロボットを検出する。
ロボットのポーズを正確に推定すると、その観察は同中心のシーンモデルに融合することができる。
論文 参考訳(メタデータ) (2023-03-07T11:03:33Z) - Markerless Camera-to-Robot Pose Estimation via Self-supervised
Sim-to-Real Transfer [26.21320177775571]
本稿では,オンラインカメラ・ロボット・キャリブレーションと自己監督型トレーニング手法を備えたエンドツーエンドのポーズ推定フレームワークを提案する。
我々のフレームワークはロボットのポーズを解くための深層学習と幾何学的ビジョンを組み合わせており、パイプラインは完全に微分可能である。
論文 参考訳(メタデータ) (2023-02-28T05:55:42Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳(メタデータ) (2022-11-16T16:26:48Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳(メタデータ) (2022-06-16T10:45:17Z) - Can Foundation Models Perform Zero-Shot Task Specification For Robot
Manipulation? [54.442692221567796]
タスク仕様は、熟練していないエンドユーザの関与とパーソナライズされたロボットの採用に不可欠である。
タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。
そこで本研究では,人間の指定や使用が容易な目標仕様の代替的,より汎用的な形式について検討する。
論文 参考訳(メタデータ) (2022-04-23T19:39:49Z) - Single-view robot pose and joint angle estimation via render & compare [40.05546237998603]
本稿では,1枚のRGB画像から関節角度と6Dカメラとロボットのポーズを推定する手法であるRoboPoseを紹介する。
これは、モバイルおよび反復型自律システムに他のロボットと対話する能力を与える上で、重要な問題である。
論文 参考訳(メタデータ) (2021-04-19T14:48:29Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳(メタデータ) (2021-02-09T10:34:32Z) - Task-relevant Representation Learning for Networked Robotic Perception [74.0215744125845]
本稿では,事前学習されたロボット知覚モデルの最終的な目的と協調して設計された感覚データのタスク関連表現を学習するアルゴリズムを提案する。
本アルゴリズムは,ロボットの知覚データを競合する手法の最大11倍まで積極的に圧縮する。
論文 参考訳(メタデータ) (2020-11-06T07:39:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。