論文の概要: External Camera-based Mobile Robot Pose Estimation for Collaborative Perception with Smart Edge Sensors

• arxiv url: http://arxiv.org/abs/2303.03797v1
• Date: Tue, 7 Mar 2023 11:03:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 15:39:54.745133
• Title: External Camera-based Mobile Robot Pose Estimation for Collaborative Perception with Smart Edge Sensors
• Title（参考訳）: スマートエッジセンサを用いた協調知覚のための外部カメラを用いた移動ロボットポーズ推定
• Authors: Simon Bultmann, Raphael Memmesheimer, and Sven Behnke
• Abstract要約: 本稿では,移動ロボットのポーズを多視点RGB画像を用いた静的カメラネットワークのアロセントリック座標で推定する手法を提案する。 画像はオンラインで、深層ニューラルネットワークによってスマートエッジセンサーでローカルに処理され、ロボットを検出する。 ロボットのポーズを正確に推定すると、その観察は同中心のシーンモデルに融合することができる。
• 参考スコア（独自算出の注目度）: 22.5939915003931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an approach for estimating a mobile robot's pose w.r.t. the allocentric coordinates of a network of static cameras using multi-view RGB images. The images are processed online, locally on smart edge sensors by deep neural networks to detect the robot and estimate 2D keypoints defined at distinctive positions of the 3D robot model. Robot keypoint detections are synchronized and fused on a central backend, where the robot's pose is estimated via multi-view minimization of reprojection errors. Through the pose estimation from external cameras, the robot's localization can be initialized in an allocentric map from a completely unknown state (kidnapped robot problem) and robustly tracked over time. We conduct a series of experiments evaluating the accuracy and robustness of the camera-based pose estimation compared to the robot's internal navigation stack, showing that our camera-based method achieves pose errors below 3 cm and 1{\deg} and does not drift over time, as the robot is localized allocentrically. With the robot's pose precisely estimated, its observations can be fused into the allocentric scene model. We show a real-world application, where observations from mobile robot and static smart edge sensors are fused to collaboratively build a 3D semantic map of a $\sim$240 m$^2$ indoor environment.
• Abstract（参考訳）: 本稿では,移動ロボットのポーズを多視点RGB画像を用いた静的カメラネットワークのアロセントリック座標で推定する手法を提案する。 画像は、深層ニューラルネットワークによって、スマートエッジセンサー上でオンラインで処理され、ロボットを検出し、3Dロボットモデルの独特の位置で定義された2Dキーポイントを推定する。 ロボットキーポイント検出は中央のバックエンドで同期して融合され、ロボットのポーズは再投影エラーのマルチビュー最小化によって推定される。 外部カメラからのポーズ推定により、ロボットのローカライゼーションは、完全に未知の状態(kidnapped robot problem)からアロセントリックマップで初期化され、時間とともにロバストに追跡される。 本研究では,ロボットの内部ナビゲーションスタックと比較して,カメラベース姿勢推定の精度とロバスト性を評価する一連の実験を行い,カメラベース手法が3cm,1{\deg}未満の姿勢誤差を達成し,時間とともにドリフトしないことを示した。 ロボットのポーズを正確に推定すると、その観察は同中心のシーンモデルに融合することができる。 モバイルロボットと静的なスマートエッジセンサーの観察を融合させて, 屋内環境の3Dセマンティックマップを共同で構築する, 実世界のアプリケーションを紹介した。

関連論文リスト

• CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera [18.971816395021488]
  マーカーレスポーズ推定手法は、カメラとロボットのキャリブレーションに時間を要する物理的な設定を不要にしている。 部分的に見えるロボットマニピュレータでロボットのポーズを推定できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-16T16:22:43Z)
• Exploring 3D Human Pose Estimation and Forecasting from the Robot's Perspective: The HARPER Dataset [52.22758311559]
  本研究では,ユーザとスポット間のダイアドインタラクションにおける3次元ポーズ推定と予測のための新しいデータセットであるHARPERを紹介する。 キーノーベルティは、ロボットの視点、すなわちロボットのセンサーが捉えたデータに焦点を当てることである。 HARPERの基盤となるシナリオには15のアクションが含まれており、そのうち10つはロボットとユーザの間の物理的接触を含んでいる。
  論文  参考訳（メタデータ） (2024-03-21T14:53:50Z)
• Real-time Holistic Robot Pose Estimation with Unknown States [30.41806081818826]
  RGB画像からロボットのポーズを推定することは、コンピュータビジョンとロボット工学において重要な問題である。 従来の手法では、例えば接地型ロボットの関節角など、ロボットの内部状態の完全な知識が想定されていた。 本研究は,RGB画像からリアルタイムロボットのポーズ推定を行う上で,既知のロボットの状態を必要としない効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-08T13:12:50Z)
• Markerless Camera-to-Robot Pose Estimation via Self-supervised Sim-to-Real Transfer [26.21320177775571]
  本稿では,オンラインカメラ・ロボット・キャリブレーションと自己監督型トレーニング手法を備えたエンドツーエンドのポーズ推定フレームワークを提案する。 我々のフレームワークはロボットのポーズを解くための深層学習と幾何学的ビジョンを組み合わせており、パイプラインは完全に微分可能である。
  論文  参考訳（メタデータ） (2023-02-28T05:55:42Z)
• Image-based Pose Estimation and Shape Reconstruction for Robot Manipulators and Soft, Continuum Robots via Differentiable Rendering [20.62295718847247]
  自律システムは3D世界における動きを捉えローカライズするためにセンサーに依存しているため、計測データからの状態推定はロボットアプリケーションにとって極めて重要である。 本研究では,カメラ画像から画像に基づくロボットのポーズ推定と形状再構成を実現する。 柔らかい連続ロボットの形状再構成において,幾何学的形状プリミティブを用いる手法が高精度であり,ロボットマニピュレータの姿勢推定が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-02-27T18:51:29Z)
• Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from Depth Maps [66.24554680709417]
  協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。 本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
  論文  参考訳（メタデータ） (2022-07-06T08:52:12Z)
• Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
  本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。 搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。 ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-16T10:45:17Z)
• CNN-based Omnidirectional Object Detection for HermesBot Autonomous Delivery Robot with Preliminary Frame Classification [53.56290185900837]
  予備的バイナリフレーム分類を用いた物体検出のためのニューラルネットワークの最適化アルゴリズムを提案する。 周囲に6台のローリングシャッターカメラを備えた自律移動ロボットを360度視野として実験装置として使用した。
  論文  参考訳（メタデータ） (2021-10-22T15:05:37Z)
• Kimera-Multi: Robust, Distributed, Dense Metric-Semantic SLAM for Multi-Robot Systems [92.26462290867963]
  Kimera-Multiは、最初のマルチロボットシステムであり、不正なインターループとイントラロボットループの閉鎖を識別し拒否することができる。 我々は、フォトリアリスティックシミュレーション、SLAMベンチマークデータセット、地上ロボットを用いて収集された屋外データセットの挑戦において、Kimera-Multiを実証した。
  論文  参考訳（メタデータ） (2021-06-28T03:56:40Z)
• Single-view robot pose and joint angle estimation via render & compare [40.05546237998603]
  本稿では,1枚のRGB画像から関節角度と6Dカメラとロボットのポーズを推定する手法であるRoboPoseを紹介する。 これは、モバイルおよび反復型自律システムに他のロボットと対話する能力を与える上で、重要な問題である。
  論文  参考訳（メタデータ） (2021-04-19T14:48:29Z)
• Morphology-Agnostic Visual Robotic Control [76.44045983428701]
  MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。 本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
  論文  参考訳（メタデータ） (2019-12-31T15:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。