論文の概要: Image-based Pose Estimation and Shape Reconstruction for Robot
Manipulators and Soft, Continuum Robots via Differentiable Rendering
- arxiv url: http://arxiv.org/abs/2302.14039v1
- Date: Mon, 27 Feb 2023 18:51:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 14:14:07.098611
- Title: Image-based Pose Estimation and Shape Reconstruction for Robot
Manipulators and Soft, Continuum Robots via Differentiable Rendering
- Title（参考訳）: ロボットマニピュレータとソフト・連続ロボットの識別可能なレンダリングによる画像に基づく姿勢推定と形状再構成
- Authors: Jingpei Lu, Fei Liu, Cedric Girerd, Michael C. Yip
- Abstract要約: 自律システムは3D世界における動きを捉えローカライズするためにセンサーに依存しているため、計測データからの状態推定はロボットアプリケーションにとって極めて重要である。
本研究では,カメラ画像から画像に基づくロボットのポーズ推定と形状再構成を実現する。
柔らかい連続ロボットの形状再構成において,幾何学的形状プリミティブを用いる手法が高精度であり,ロボットマニピュレータの姿勢推定が可能であることを実証した。
- 参考スコア（独自算出の注目度）: 20.62295718847247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State estimation from measured data is crucial for robotic applications as
autonomous systems rely on sensors to capture the motion and localize in the 3D
world. Among sensors that are designed for measuring a robot's pose, or for
soft robots, their shape, vision sensors are favorable because they are
information-rich, easy to set up, and cost-effective. With recent advancements
in computer vision, deep learning-based methods no longer require markers for
identifying feature points on the robot. However, learning-based methods are
data-hungry and hence not suitable for soft and prototyping robots, as building
such bench-marking datasets is usually infeasible. In this work, we achieve
image-based robot pose estimation and shape reconstruction from camera images.
Our method requires no precise robot meshes, but rather utilizes a
differentiable renderer and primitive shapes. It hence can be applied to robots
for which CAD models might not be available or are crude. Our parameter
estimation pipeline is fully differentiable. The robot shape and pose are
estimated iteratively by back-propagating the image loss to update the
parameters. We demonstrate that our method of using geometrical shape
primitives can achieve high accuracy in shape reconstruction for a soft
continuum robot and pose estimation for a robot manipulator.
- Abstract（参考訳）: 自律システムは3d世界の動きをキャプチャし局所化するセンサーに依存しているため、計測されたデータからの状態推定はロボットに不可欠である。
ロボットのポーズやソフトロボットの形状を測定するために設計されたセンサーのうち、視覚センサーは情報量が多く、セットアップが容易でコスト効率が良いため好都合である。
最近のコンピュータビジョンの進歩により、ディープラーニングベースの方法はもはやロボットの特徴点を特定するためにマーカーを必要としない。
しかし、学習ベースの手法はデータ重視であり、それゆえにソフトでプロトタイピングのロボットには適さない。
本研究では,カメラ画像からイメージベースロボットのポーズ推定と形状復元を実現する。
本手法では,正確なロボットメッシュを必要とせず,微分可能なレンダラとプリミティブ形状を用いる。
したがって、CADモデルが入手できない、あるいは粗末なロボットに適用することができる。
パラメータ推定パイプラインは完全に微分可能である。
画像損失をバックプロパゲーションしてパラメータを更新することにより、ロボット形状とポーズを反復的に推定する。
柔らかい連続ロボットの形状再構成において,幾何学的形状プリミティブを用いる手法が高精度であり,ロボットマニピュレータの姿勢推定が可能であることを示す。
関連論文リスト
- Differentiable Robot Rendering [45.23538293501457]
本稿では,ロボット本体の視覚的外観を,その制御パラメータに対して直接微分可能とするロボットレンダリングについて紹介する。
画像からロボットのポーズを復元したり、視覚言語モデルを用いてロボットを制御するなど、その能力と用途を実演する。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Learning Object Properties Using Robot Proprioception via Differentiable Robot-Object Interaction [52.12746368727368]
微分可能シミュレーションは、システム識別の強力なツールとなっている。
本手法は,オブジェクト自体のデータに頼ることなく,ロボットからの情報を用いてオブジェクト特性を校正する。
低コストなロボットプラットフォームにおける本手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-10-04T20:48:38Z) - Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。
まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。
この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。
両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
論文 参考訳（メタデータ） (2024-09-26T17:57:16Z) - CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera [18.971816395021488]
マーカーレスポーズ推定手法は、カメラとロボットのキャリブレーションに時間を要する物理的な設定を不要にしている。
部分的に見えるロボットマニピュレータでロボットのポーズを推定できる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-16T16:22:43Z) - Real-time Holistic Robot Pose Estimation with Unknown States [30.41806081818826]
RGB画像からロボットのポーズを推定することは、コンピュータビジョンとロボット工学において重要な問題である。
従来の手法では、例えば接地型ロボットの関節角など、ロボットの内部状態の完全な知識が想定されていた。
本研究は,RGB画像からリアルタイムロボットのポーズ推定を行う上で,既知のロボットの状態を必要としない効率的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-08T13:12:50Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z) - Markerless Camera-to-Robot Pose Estimation via Self-supervised
Sim-to-Real Transfer [26.21320177775571]
本稿では,オンラインカメラ・ロボット・キャリブレーションと自己監督型トレーニング手法を備えたエンドツーエンドのポーズ推定フレームワークを提案する。
我々のフレームワークはロボットのポーズを解くための深層学習と幾何学的ビジョンを組み合わせており、パイプラインは完全に微分可能である。
論文 参考訳（メタデータ） (2023-02-28T05:55:42Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳（メタデータ） (2022-06-16T10:45:17Z) - Single-view robot pose and joint angle estimation via render & compare [40.05546237998603]
本稿では,1枚のRGB画像から関節角度と6Dカメラとロボットのポーズを推定する手法であるRoboPoseを紹介する。
これは、モバイルおよび反復型自律システムに他のロボットと対話する能力を与える上で、重要な問題である。
論文 参考訳（メタデータ） (2021-04-19T14:48:29Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳（メタデータ） (2021-02-09T10:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。