論文の概要: Real-time Multi-view Omnidirectional Depth Estimation System for Robots and Autonomous Driving on Real Scenes

• arxiv url: http://arxiv.org/abs/2409.07843v1
• Date: Thu, 12 Sep 2024 08:44:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 17:18:01.271775
• Title: Real-time Multi-view Omnidirectional Depth Estimation System for Robots and Autonomous Driving on Real Scenes
• Title（参考訳）: ロボットのリアルタイム多視点全方位深度推定システムと実環境における自律走行
• Authors: Ming Li, Xiong Yang, Chaofan Wu, Jiaheng Li, Pinzhi Wang, Xuejiao Hu, Sidan Du, Yang Li,
• Abstract要約: ロボットと車両の両方の現実シナリオにおけるナビゲーションと障害物回避のための全方位深度推定システムとそれに対応するアルゴリズムを提案する。 実時間全方位深度推定を実現するために,球面スイーシング法とモデルアーキテクチャを併用したRtHexa-OmniMVSアルゴリズムを提案する。 提案アルゴリズムは,屋内および屋外の両方で複雑な実世界のシナリオにおいて高い精度を示し,エッジコンピューティングプラットフォーム上で15fpsの推論速度を実現する。
• 参考スコア（独自算出の注目度）: 9.073031720400401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omnidirectional Depth Estimation has broad application prospects in fields such as robotic navigation and autonomous driving. In this paper, we propose a robotic prototype system and corresponding algorithm designed to validate omnidirectional depth estimation for navigation and obstacle avoidance in real-world scenarios for both robots and vehicles. The proposed HexaMODE system captures 360$^\circ$ depth maps using six surrounding arranged fisheye cameras. We introduce a combined spherical sweeping method and optimize the model architecture for proposed RtHexa-OmniMVS algorithm to achieve real-time omnidirectional depth estimation. To ensure high accuracy, robustness, and generalization in real-world environments, we employ a teacher-student self-training strategy, utilizing large-scale unlabeled real-world data for model training. The proposed algorithm demonstrates high accuracy in various complex real-world scenarios, both indoors and outdoors, achieving an inference speed of 15 fps on edge computing platforms.
• Abstract（参考訳）: Omnidirectional Depth Estimationは、ロボットナビゲーションや自律運転といった分野における幅広い応用の見通しを持っている。 本稿では,ロボットと車両の両方の現実シナリオにおいて,ナビゲーションと障害物回避のための全方位深度推定を行うロボットプロトタイプシステムとそれに対応するアルゴリズムを提案する。 提案したHexaMODEシステムは、6つの周囲の魚眼カメラを用いて360$^\circ$の深度マップをキャプチャする。 実時間全方位深度推定を実現するために,球面スイーシング法とモデルアーキテクチャを併用したRtHexa-OmniMVSアルゴリズムを提案する。 実世界の環境における高い精度、堅牢性、一般化を実現するため、モデルトレーニングに大規模にラベル付けされていない実世界のデータを活用する教師による自己学習戦略を採用している。 提案アルゴリズムは,屋内および屋外の両方で複雑な実世界のシナリオにおいて高い精度を示し,エッジコンピューティングプラットフォーム上で15fpsの推論速度を実現する。

関連論文リスト

• Enhancing Navigation Benchmarking and Perception Data Generation for Row-based Crops in Simulation [0.3518016233072556]
  本稿では,セマンティックセグメンテーションネットワークを学習するための合成データセットと,ナビゲーションアルゴリズムを高速に評価するための仮想シナリオのコレクションを提案する。 異なるフィールドジオメトリと特徴を探索するための自動パラメトリック手法が開発されている。 シミュレーションフレームワークとデータセットは、異なる作物のディープセグメンテーションネットワークをトレーニングし、その結果のナビゲーションをベンチマークすることで評価されている。
  論文  参考訳（メタデータ） (2023-06-27T14:46:09Z)
• Deep Learning Computer Vision Algorithms for Real-time UAVs On-board Camera Image Processing [77.34726150561087]
  本稿では,ディープラーニングに基づくコンピュータビジョンアルゴリズムを用いて,小型UAVのリアルタイムセンサ処理を実現する方法について述べる。 すべてのアルゴリズムは、ディープニューラルネットワークに基づく最先端の画像処理手法を用いて開発されている。
  論文  参考訳（メタデータ） (2022-11-02T11:10:42Z)
• Deterministic and Stochastic Analysis of Deep Reinforcement Learning for Low Dimensional Sensing-based Navigation of Mobile Robots [0.41562334038629606]
  本稿では,2つのDeep-RL手法-Deep Deterministic Policy Gradients (DDPG)とSoft Actor-Critic (SAC)の比較分析を行う。 本研究の目的は,ニューラルネットワークアーキテクチャが学習そのものにどのように影響するかを示し,各アプローチにおける空中移動ロボットの時間と距離に基づいて定量的な結果を示すことである。
  論文  参考訳（メタデータ） (2022-09-13T22:28:26Z)
• Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from Depth Maps [66.24554680709417]
  協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。 本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
  論文  参考訳（メタデータ） (2022-07-06T08:52:12Z)
• Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
  本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。 搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。 ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-16T10:45:17Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• High-Speed Robot Navigation using Predicted Occupancy Maps [0.0]
  ロボットがセンサの地平線を越えて広がる空間を高速で予測できるアルゴリズム手法について検討する。 我々は、人間のアノテートラベルを必要とせず、実世界のデータからトレーニングされた生成ニューラルネットワークを用いてこれを実現する。 既存の制御アルゴリズムを拡張し、予測空間を活用することで、衝突のない計画とナビゲーションを高速で改善します。
  論文  参考訳（メタデータ） (2020-12-22T16:25:12Z)
• Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for Online Collision Avoidance [95.86944752753564]
  本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。 我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。 本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
  論文  参考訳（メタデータ） (2020-07-28T07:34:30Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。