論文の概要: CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera
- arxiv url: http://arxiv.org/abs/2409.10441v1
- Date: Mon, 16 Sep 2024 16:22:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 14:48:31.386230
- Title: CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera
- Title（参考訳）: CtRNet-X:単一カメラを用いた実環境におけるカメラとロボットの姿勢推定
- Authors: Jingpei Lu, Zekai Liang, Tristin Xie, Florian Ritcher, Shan Lin, Sainan Liu, Michael C. Yip,
- Abstract要約: マーカーレスポーズ推定手法は、カメラとロボットのキャリブレーションに時間を要する物理的な設定を不要にしている。
部分的に見えるロボットマニピュレータでロボットのポーズを推定できる新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 18.971816395021488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Camera-to-robot calibration is crucial for vision-based robot control and requires effort to make it accurate. Recent advancements in markerless pose estimation methods have eliminated the need for time-consuming physical setups for camera-to-robot calibration. While the existing markerless pose estimation methods have demonstrated impressive accuracy without the need for cumbersome setups, they rely on the assumption that all the robot joints are visible within the camera's field of view. However, in practice, robots usually move in and out of view, and some portion of the robot may stay out-of-frame during the whole manipulation task due to real-world constraints, leading to a lack of sufficient visual features and subsequent failure of these approaches. To address this challenge and enhance the applicability to vision-based robot control, we propose a novel framework capable of estimating the robot pose with partially visible robot manipulators. Our approach leverages the Vision-Language Models for fine-grained robot components detection, and integrates it into a keypoint-based pose estimation network, which enables more robust performance in varied operational conditions. The framework is evaluated on both public robot datasets and self-collected partial-view datasets to demonstrate our robustness and generalizability. As a result, this method is effective for robot pose estimation in a wider range of real-world manipulation scenarios.
- Abstract（参考訳）: カメラとロボットのキャリブレーションは、視覚に基づくロボットの制御に不可欠であり、正確にするための努力が必要である。
マーカーレスポーズ推定手法の最近の進歩により、カメラとロボットのキャリブレーションに要する時間を要する物理的なセットアップは不要になっている。
既存のマーカーレスポーズ推定手法は、面倒なセットアップを必要とせず、印象的な精度を示してきたが、カメラの視野内で全てのロボット関節が見えるという仮定に依存している。
しかし、実際には、ロボットは通常、内外から移動し、実際の制約のために、操作タスク全体においてロボットの一部がフレーム外に留まり、十分な視覚的特徴が欠落し、その後のアプローチが失敗する。
この課題に対処し、視覚に基づくロボット制御への適用性を高めるために、部分的に見えるロボットマニピュレータでロボットのポーズを推定できる新しいフレームワークを提案する。
提案手法では,ロボット部品の細粒度検出にVision-Language Modelsを活用し,キーポイントに基づくポーズ推定ネットワークに統合することにより,様々な操作条件下でのより堅牢なパフォーマンスを実現する。
このフレームワークは、我々の堅牢性と一般化可能性を示すために、公開ロボットデータセットと自己コンパイルされた部分ビューデータセットの両方で評価される。
その結果,本手法は,より広範な実世界の操作シナリオにおいて,ロボットのポーズ推定に有効であることがわかった。
関連論文リスト
- RoboPEPP: Vision-Based Robot Pose and Joint Angle Estimation through Embedding Predictive Pre-Training [27.63332596592781]
関節角度の不明な関節ロボットの視覚に基づくポーズ推定は、協調ロボット工学や人間とロボットのインタラクションタスクに応用できる。
現在のフレームワークでは、ニューラルネットワークエンコーダを使用して、画像の特徴と下流層を抽出し、関節角とロボットのポーズを予測する。
本稿では,ロボットの物理モデルに関する情報を,マスクを用いた自己教師型埋め込み予測アーキテクチャを用いてエンコーダに融合させる手法であるRoboPEPPを紹介する。
論文 参考訳（メタデータ） (2024-11-26T18:26:17Z) - Unifying 3D Representation and Control of Diverse Robots with a Single Camera [48.279199537720714]
我々は,ロボットを視覚のみからモデル化し,制御することを自律的に学習するアーキテクチャであるNeural Jacobian Fieldsを紹介する。
提案手法は,正確なクローズドループ制御を実現し,各ロボットの因果動的構造を復元する。
論文 参考訳（メタデータ） (2024-07-11T17:55:49Z) - Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z) - Real-time Holistic Robot Pose Estimation with Unknown States [30.41806081818826]
RGB画像からロボットのポーズを推定することは、コンピュータビジョンとロボット工学において重要な問題である。
従来の手法では、例えば接地型ロボットの関節角など、ロボットの内部状態の完全な知識が想定されていた。
本研究は,RGB画像からリアルタイムロボットのポーズ推定を行う上で,既知のロボットの状態を必要としない効率的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-08T13:12:50Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳（メタデータ） (2023-07-12T07:04:53Z) - Markerless Camera-to-Robot Pose Estimation via Self-supervised
Sim-to-Real Transfer [26.21320177775571]
本稿では,オンラインカメラ・ロボット・キャリブレーションと自己監督型トレーニング手法を備えたエンドツーエンドのポーズ推定フレームワークを提案する。
我々のフレームワークはロボットのポーズを解くための深層学習と幾何学的ビジョンを組み合わせており、パイプラインは完全に微分可能である。
論文 参考訳（メタデータ） (2023-02-28T05:55:42Z) - Image-based Pose Estimation and Shape Reconstruction for Robot
Manipulators and Soft, Continuum Robots via Differentiable Rendering [20.62295718847247]
自律システムは3D世界における動きを捉えローカライズするためにセンサーに依存しているため、計測データからの状態推定はロボットアプリケーションにとって極めて重要である。
本研究では,カメラ画像から画像に基づくロボットのポーズ推定と形状再構成を実現する。
柔らかい連続ロボットの形状再構成において,幾何学的形状プリミティブを用いる手法が高精度であり,ロボットマニピュレータの姿勢推定が可能であることを実証した。
論文 参考訳（メタデータ） (2023-02-27T18:51:29Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳（メタデータ） (2022-06-16T10:45:17Z) - Can Foundation Models Perform Zero-Shot Task Specification For Robot
Manipulation? [54.442692221567796]
タスク仕様は、熟練していないエンドユーザの関与とパーソナライズされたロボットの採用に不可欠である。
タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。
そこで本研究では,人間の指定や使用が容易な目標仕様の代替的,より汎用的な形式について検討する。
論文 参考訳（メタデータ） (2022-04-23T19:39:49Z) - Single-view robot pose and joint angle estimation via render & compare [40.05546237998603]
本稿では,1枚のRGB画像から関節角度と6Dカメラとロボットのポーズを推定する手法であるRoboPoseを紹介する。
これは、モバイルおよび反復型自律システムに他のロボットと対話する能力を与える上で、重要な問題である。
論文 参考訳（メタデータ） (2021-04-19T14:48:29Z) - Morphology-Agnostic Visual Robotic Control [76.44045983428701]
MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。
本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
論文 参考訳（メタデータ） (2019-12-31T15:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。