論文の概要: StereoVoxelNet: Real-Time Obstacle Detection Based on Occupancy Voxels
from a Stereo Camera Using Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2209.08459v1
- Date: Sun, 18 Sep 2022 03:32:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 19:31:02.304065
- Title: StereoVoxelNet: Real-Time Obstacle Detection Based on Occupancy Voxels
from a Stereo Camera Using Deep Neural Networks
- Title（参考訳）: stereovoxelnet:ディープニューラルネットワークを用いたステレオカメラからの占有ボクセルに基づくリアルタイム障害物検出
- Authors: Hongyu Li, Zhengang Li, Neset Unver Akmandor, Huaizu Jiang, Yanzhi
Wang, Taskin Padir
- Abstract要約: 障害物検出は、ステレオマッチングが一般的な視覚ベースのアプローチであるロボットナビゲーションにおいて、安全に重要な問題である。
本稿では,ステレオ画像の占有率を直接検出するために,ディープニューラルネットワークを利用する計算効率のよい手法を提案する。
提案手法は,32mの範囲の障害物を正確に検出し,最新ステレオモデルの計算コストのわずか2%に留まらず,IoU (Intersection over Union) とCD (Chamfer Distance) のスコアが向上する。
- 参考スコア（独自算出の注目度）: 32.7826524859756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Obstacle detection is a safety-critical problem in robot navigation, where
stereo matching is a popular vision-based approach. While deep neural networks
have shown impressive results in computer vision, most of the previous obstacle
detection works only leverage traditional stereo matching techniques to meet
the computational constraints for real-time feedback. This paper proposes a
computationally efficient method that leverages a deep neural network to detect
occupancy from stereo images directly. Instead of learning the point cloud
correspondence from the stereo data, our approach extracts the compact obstacle
distribution based on volumetric representations. In addition, we prune the
computation of safety irrelevant spaces in a coarse-to-fine manner based on
octrees generated by the decoder. As a result, we achieve real-time performance
on the onboard computer (NVIDIA Jetson TX2). Our approach detects obstacles
accurately in the range of 32 meters and achieves better IoU (Intersection over
Union) and CD (Chamfer Distance) scores with only 2% of the computation cost of
the state-of-the-art stereo model. Furthermore, we validate our method's
robustness and real-world feasibility through autonomous navigation experiments
with a real robot. Hence, our work contributes toward closing the gap between
the stereo-based system in robot perception and state-of-the-art stereo models
in computer vision. To counter the scarcity of high-quality real-world indoor
stereo datasets, we collect a 1.36 hours stereo dataset with a Jackal robot
which is used to fine-tune our model. The dataset, the code, and more
visualizations are available at https://lhy.xyz/stereovoxelnet/
- Abstract（参考訳）: 障害物検出は、ステレオマッチングが一般的な視覚ベースのアプローチであるロボットナビゲーションにおいて、安全に重要な問題である。
ディープニューラルネットワークはコンピュータビジョンにおいて印象的な結果を示しているが、以前の障害物検出のほとんどは、従来のステレオマッチング技術を利用してリアルタイムフィードバックの計算制約を満たすだけである。
本稿では,ディープニューラルネットワークを用いてステレオ画像からの占有率を直接検出する計算効率の高い手法を提案する。
ステレオデータから点雲対応を学習する代わりに,容積表現に基づくコンパクトな障害物分布を抽出する。
さらに,デコーダが生成するオクタリーに基づいて,無関係空間に対する安全性の計算を粗密に行う。
その結果,車載コンピュータ(NVIDIA Jetson TX2)上でのリアルタイム性能を実現した。
提案手法は,32mの範囲の障害物を正確に検出し,最新ステレオモデルの計算コストのわずか2%に留まらず,IoU (Intersection over Union) とCD (Chamfer Distance) のスコアが向上する。
さらに,実ロボットを用いた自律ナビゲーション実験により,本手法のロバスト性と実世界の実現可能性を検証する。
そこで本研究は,ロボット知覚におけるステレオベースシステムとコンピュータビジョンにおける最先端ステレオモデルとのギャップを埋めることに寄与する。
高品質な屋内ステレオデータセットの不足に対処するため、モデルを微調整するジャカルロボットを用いて、1.36時間のステレオデータセットを収集した。
データセット、コードはhttps://lhy.xyz/stereovoxelnet/で確認できる。
関連論文リスト
- Left-right Discrepancy for Adversarial Attack on Stereo Networks [8.420135490466851]
本稿では,左画像特徴と右画像特徴との差を最大化するために,摂動雑音を発生させる新しい対向攻撃手法を提案する。
実験により,ステレオニューラルネットワークにおいて予測誤差を増大させる手法の優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-14T02:30:38Z) - MoSS: Monocular Shape Sensing for Continuum Robots [11.377027568901038]
本稿では,連続体型ロボットの形状センサに対する目と手の一眼的アプローチを提案する。
MoSSNetはステレオマッチングのコストを削減し、センサーハードウェアの要求を削減している。
データ収集とテストには2段式の腱駆動連続体ロボットが使用される。
論文 参考訳（メタデータ） (2023-03-02T01:14:32Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳（メタデータ） (2022-06-16T10:45:17Z) - Revisiting Domain Generalized Stereo Matching Networks from a Feature
Consistency Perspective [65.37571681370096]
両視点にまたがる単純な画素単位のコントラスト学習を提案する。
ドメイン間の立体的特徴一貫性をよりよく維持するために、立体選択的白化損失を導入する。
提案手法は,複数の最先端ネットワークよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-03-21T11:21:41Z) - Self-Supervised Depth Completion for Active Stereo [55.79929735390945]
アクティブステレオシステムは、低コストで高品質な深度マップのため、ロボット産業で広く利用されている。
これらの深度センサーはステレオアーチファクトに悩まされており、密度の深い深度推定を提供していない。
本稿では, 高精度な深度マップを推定するアクティブステレオシステムのための, 自己監督型深度補完法を提案する。
論文 参考訳（メタデータ） (2021-10-07T07:33:52Z) - StereoSpike: Depth Learning with a Spiking Neural Network [0.0]
深度推定のためのエンドツーエンドのニューロモルフィック手法を提案する。
我々はSpiking Neural Network (SNN) と、StereoSpikeという名前のU-Netライクなエンコーダデコーダアーキテクチャを用いている。
このアーキテクチャは、スポーキング以外のアーキテクチャよりも、非常によく一般化されていることを実証します。
論文 参考訳（メタデータ） (2021-09-28T14:11:36Z) - Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
3D MOT問題に対する統一型学習型アプローチを提案します。
我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。
AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
論文 参考訳（メタデータ） (2021-04-23T17:59:28Z) - Instantaneous Stereo Depth Estimation of Real-World Stimuli with a
Neuromorphic Stereo-Vision Setup [4.28479274054892]
ステレオビジョンのためのスパイクニューラルネットワーク(SNN)アーキテクチャは、ステレオマッチング問題を単純化する可能性がある。
実世界データと混合信号ニューロモルフィックプロセッサに実装された脳インスパイアされたイベントベースのステレオマッチングアーキテクチャを検証する。
論文 参考訳（メタデータ） (2021-04-06T14:31:23Z) - Reversing the cycle: self-supervised deep stereo through enhanced
monocular distillation [51.714092199995044]
多くの分野において、自己教師付き学習ソリューションは急速に進化し、教師付きアプローチでギャップを埋めている。
本稿では,両者の相互関係を逆転する自己教師型パラダイムを提案する。
深層ステレオネットワークを訓練するために,単分子完備ネットワークを通じて知識を抽出する。
論文 参考訳（メタデータ） (2020-08-17T07:40:22Z) - Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for
Online Collision Avoidance [95.86944752753564]
本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。
我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。
本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
論文 参考訳（メタデータ） (2020-07-28T07:34:30Z) - Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection [40.34710686994996]
3Dオブジェクト検出は、自動運転のシナリオにおいて新たな課題となっている。
以前の作業では、プロジェクションベースまたはボクセルベースのモデルを使用して3Dポイントクラウドを処理していた。
本稿では,意味情報と空間情報の同時利用が可能なStereo RGBおよびDeeper LIDARフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-09T11:19:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。