論文の概要: External Camera-based Mobile Robot Pose Estimation for Collaborative
Perception with Smart Edge Sensors
- arxiv url: http://arxiv.org/abs/2303.03797v1
- Date: Tue, 7 Mar 2023 11:03:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 15:39:54.745133
- Title: External Camera-based Mobile Robot Pose Estimation for Collaborative
Perception with Smart Edge Sensors
- Title(参考訳): スマートエッジセンサを用いた協調知覚のための外部カメラを用いた移動ロボットポーズ推定
- Authors: Simon Bultmann, Raphael Memmesheimer, and Sven Behnke
- Abstract要約: 本稿では,移動ロボットのポーズを多視点RGB画像を用いた静的カメラネットワークのアロセントリック座標で推定する手法を提案する。
画像はオンラインで、深層ニューラルネットワークによってスマートエッジセンサーでローカルに処理され、ロボットを検出する。
ロボットのポーズを正確に推定すると、その観察は同中心のシーンモデルに融合することができる。
- 参考スコア(独自算出の注目度): 22.5939915003931
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an approach for estimating a mobile robot's pose w.r.t. the
allocentric coordinates of a network of static cameras using multi-view RGB
images. The images are processed online, locally on smart edge sensors by deep
neural networks to detect the robot and estimate 2D keypoints defined at
distinctive positions of the 3D robot model. Robot keypoint detections are
synchronized and fused on a central backend, where the robot's pose is
estimated via multi-view minimization of reprojection errors. Through the pose
estimation from external cameras, the robot's localization can be initialized
in an allocentric map from a completely unknown state (kidnapped robot problem)
and robustly tracked over time. We conduct a series of experiments evaluating
the accuracy and robustness of the camera-based pose estimation compared to the
robot's internal navigation stack, showing that our camera-based method
achieves pose errors below 3 cm and 1{\deg} and does not drift over time, as
the robot is localized allocentrically. With the robot's pose precisely
estimated, its observations can be fused into the allocentric scene model. We
show a real-world application, where observations from mobile robot and static
smart edge sensors are fused to collaboratively build a 3D semantic map of a
$\sim$240 m$^2$ indoor environment.
- Abstract(参考訳): 本稿では,移動ロボットのポーズを多視点RGB画像を用いた静的カメラネットワークのアロセントリック座標で推定する手法を提案する。
画像は、深層ニューラルネットワークによって、スマートエッジセンサー上でオンラインで処理され、ロボットを検出し、3Dロボットモデルの独特の位置で定義された2Dキーポイントを推定する。
ロボットキーポイント検出は中央のバックエンドで同期して融合され、ロボットのポーズは再投影エラーのマルチビュー最小化によって推定される。
外部カメラからのポーズ推定により、ロボットのローカライゼーションは、完全に未知の状態(kidnapped robot problem)からアロセントリックマップで初期化され、時間とともにロバストに追跡される。
本研究では,ロボットの内部ナビゲーションスタックと比較して,カメラベース姿勢推定の精度とロバスト性を評価する一連の実験を行い,カメラベース手法が3cm,1{\deg}未満の姿勢誤差を達成し,時間とともにドリフトしないことを示した。
ロボットのポーズを正確に推定すると、その観察は同中心のシーンモデルに融合することができる。
モバイルロボットと静的なスマートエッジセンサーの観察を融合させて, 屋内環境の3Dセマンティックマップを共同で構築する, 実世界のアプリケーションを紹介した。
関連論文リスト
- Real-time Holistic Robot Pose Estimation with Unknown States [32.23145849683204]
RGB画像からロボットのポーズを推定することは、コンピュータビジョンとロボット工学において重要な問題である。
本稿では,1枚のRGB画像から実時間で総合的なポーズ推定を行うためのエンドツーエンドパイプラインを提案する。
本手法は,ロボットの状態パラメータ,キーポイント位置,ルート深さなど,カメラとロボットの回転を推定する。
論文 参考訳(メタデータ) (2024-02-08T13:12:50Z) - Markerless Camera-to-Robot Pose Estimation via Self-supervised
Sim-to-Real Transfer [26.21320177775571]
本稿では,オンラインカメラ・ロボット・キャリブレーションと自己監督型トレーニング手法を備えたエンドツーエンドのポーズ推定フレームワークを提案する。
我々のフレームワークはロボットのポーズを解くための深層学習と幾何学的ビジョンを組み合わせており、パイプラインは完全に微分可能である。
論文 参考訳(メタデータ) (2023-02-28T05:55:42Z) - Image-based Pose Estimation and Shape Reconstruction for Robot
Manipulators and Soft, Continuum Robots via Differentiable Rendering [20.62295718847247]
自律システムは3D世界における動きを捉えローカライズするためにセンサーに依存しているため、計測データからの状態推定はロボットアプリケーションにとって極めて重要である。
本研究では,カメラ画像から画像に基づくロボットのポーズ推定と形状再構成を実現する。
柔らかい連続ロボットの形状再構成において,幾何学的形状プリミティブを用いる手法が高精度であり,ロボットマニピュレータの姿勢推定が可能であることを実証した。
論文 参考訳(メタデータ) (2023-02-27T18:51:29Z) - Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from
Depth Maps [66.24554680709417]
協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。
本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
論文 参考訳(メタデータ) (2022-07-06T08:52:12Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳(メタデータ) (2022-06-16T10:45:17Z) - CNN-based Omnidirectional Object Detection for HermesBot Autonomous
Delivery Robot with Preliminary Frame Classification [53.56290185900837]
予備的バイナリフレーム分類を用いた物体検出のためのニューラルネットワークの最適化アルゴリズムを提案する。
周囲に6台のローリングシャッターカメラを備えた自律移動ロボットを360度視野として実験装置として使用した。
論文 参考訳(メタデータ) (2021-10-22T15:05:37Z) - Kimera-Multi: Robust, Distributed, Dense Metric-Semantic SLAM for
Multi-Robot Systems [92.26462290867963]
Kimera-Multiは、最初のマルチロボットシステムであり、不正なインターループとイントラロボットループの閉鎖を識別し拒否することができる。
我々は、フォトリアリスティックシミュレーション、SLAMベンチマークデータセット、地上ロボットを用いて収集された屋外データセットの挑戦において、Kimera-Multiを実証した。
論文 参考訳(メタデータ) (2021-06-28T03:56:40Z) - Single-view robot pose and joint angle estimation via render & compare [40.05546237998603]
本稿では,1枚のRGB画像から関節角度と6Dカメラとロボットのポーズを推定する手法であるRoboPoseを紹介する。
これは、モバイルおよび反復型自律システムに他のロボットと対話する能力を与える上で、重要な問題である。
論文 参考訳(メタデータ) (2021-04-19T14:48:29Z) - Kimera-Multi: a System for Distributed Multi-Robot Metric-Semantic
Simultaneous Localization and Mapping [57.173793973480656]
本稿では,高密度メカニカル・セマンティックSLAMのための完全分散マルチロボットシステムを提案する。
私たちのシステムはKimera-Multiと呼ばれ、視覚慣性センサーを備えたロボットチームによって実装されています。
Kimera-Multiは環境の3Dメッシュモデルをリアルタイムで構築し、メッシュの各面にセマンティックラベルをアノテートする。
論文 参考訳(メタデータ) (2020-11-08T21:38:12Z) - Deep Reinforcement learning for real autonomous mobile robot navigation
in indoor environments [0.0]
本研究では,地図やプランナーを使わずに,未知の環境下での自律型自律学習ロボットナビゲーションの概念を実証する。
ロボットの入力は、2DレーザースキャナーとRGB-Dカメラからの融合データと目標への向きのみである。
Asynchronous Advantage Actor-Critic Network(GA3C)の出力動作は、ロボットの線形および角速度である。
論文 参考訳(メタデータ) (2020-05-28T09:15:14Z) - Morphology-Agnostic Visual Robotic Control [76.44045983428701]
MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。
本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
論文 参考訳(メタデータ) (2019-12-31T15:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。