論文の概要: Real-Time 3D Object Detection Using InnovizOne LiDAR and Low-Power Hailo-8 AI Accelerator
- arxiv url: http://arxiv.org/abs/2412.05594v1
- Date: Sat, 07 Dec 2024 09:19:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:57:39.713724
- Title: Real-Time 3D Object Detection Using InnovizOne LiDAR and Low-Power Hailo-8 AI Accelerator
- Title（参考訳）: InnovizOne LiDARと低消費電力Hairo-8 AIアクセラレータを用いたリアルタイム3Dオブジェクト検出
- Authors: Itay Krispin-Avraham, Roy Orfaig, Ben-Zion Bobrovsky,
- Abstract要約: 本稿では,LiDARセンサからの3次元点雲を用いたリアルタイム3次元物体検出の実現可能性を示す。
精度0.91%のF1で約5Hzの速さでリアルタイム推論に成功した。
この研究は、低コストで低消費電力のハードウェア上で、効率的なリアルタイム3Dオブジェクト検出を実現することを実証している。
- 参考スコア（独自算出の注目度）: 0.6144680854063939
- License:
- Abstract: Object detection is a significant field in autonomous driving. Popular sensors for this task include cameras and LiDAR sensors. LiDAR sensors offer several advantages, such as insensitivity to light changes, like in a dark setting and the ability to provide 3D information in the form of point clouds, which include the ranges of objects. However, 3D detection methods, such as PointPillars, typically require high-power hardware. Additionally, most common spinning LiDARs are sparse and may not achieve the desired quality of object detection in front of the car. In this paper, we present the feasibility of performing real-time 3D object detection of cars using 3D point clouds from a LiDAR sensor, processed and deployed on a low-power Hailo-8 AI accelerator. The LiDAR sensor used in this study is the InnovizOne sensor, which captures objects in higher quality compared to spinning LiDAR techniques, especially for distant objects. We successfully achieved real-time inference at a rate of approximately 5Hz with a high accuracy of 0.91% F1 score, with only -0.2% degradation compared to running the same model on an NVIDIA GeForce RTX 2080 Ti. This work demonstrates that effective real-time 3D object detection can be achieved on low-cost, low-power hardware, representing a significant step towards more accessible autonomous driving technologies. The source code and the pre-trained models are available at https://github.com/AIROTAU/ PointPillarsHailoInnoviz/tree/main
- Abstract（参考訳）: 物体検出は自律運転において重要な分野である。
このタスクで一般的なセンサーは、カメラとLiDARセンサーである。
LiDARセンサーには、暗い環境での光の変化に対する感度の低下や、物体の範囲を含む点雲の形で3D情報を提供する能力など、いくつかの利点がある。
しかし、PointPillarsのような3D検出方法は、通常、高出力のハードウェアを必要とする。
加えて、ほとんどの一般的な回転式LiDARはスパースであり、車の前での物体検出の望ましい品質を達成できない可能性がある。
本稿では,LiDARセンサからの3D点雲を用いた車両のリアルタイム3Dオブジェクト検出の実現可能性について述べる。
この研究で使用されるLiDARセンサーはInnovizOneセンサーで、特に遠方の物体では回転するLiDAR技術に比べて高品質な物体をキャプチャする。
NVIDIA GeForce RTX 2080 Tiで同じモデルを実行する場合と比較して, 0.91% F1スコアの精度で約5Hzのリアルタイム推論を実現した。
この研究は、低コストで低消費電力のハードウェア上で、効率的なリアルタイム3Dオブジェクト検出が実現可能であることを実証している。
ソースコードと事前トレーニングされたモデルはhttps://github.com/AIROTAU/PointPillarsHailoInnoviz/tree/mainで入手できる。
関連論文リスト
- FADet: A Multi-sensor 3D Object Detection Network based on Local Featured Attention [2.332328100695052]
カメラ、LiDAR、レーダーは自律走行タスクのための一般的な知覚センサーである。
これらのセンサーにはそれぞれ独自の特徴があるため、賢くその能力を活用することは依然として課題である。
本研究では,異なるセンサの特性を特に研究するマルチセンサ3D検出ネットワークであるFADetを提案する。
論文 参考訳（メタデータ） (2024-05-19T21:52:50Z) - Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。
本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。
3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
論文 参考訳（メタデータ） (2024-04-10T03:54:53Z) - Better Monocular 3D Detectors with LiDAR from the Past [64.6759926054061]
カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。
本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。
複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2024-04-08T01:38:43Z) - CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking [40.630532348405595]
Camera-RADAR 3D Detection and Tracking (CR3DT)は3Dオブジェクト検出のためのカメラ・レーダ融合モデルであり、Multi-Object Tracking (MOT) である。
State-of-the-Art (SotA)カメラ専用のBEVDetアーキテクチャの基礎の上に構築されたCR3DTは、検出機能とトラッキング機能の両方で大幅に改善されている。
論文 参考訳（メタデータ） (2024-03-22T16:06:05Z) - FocalFormer3D : Focusing on Hard Instance for 3D Object Detection [97.56185033488168]
3次元物体検出における偽陰性(False negatives, FN)は、自動運転において潜在的に危険な状況を引き起こす可能性がある。
本研究では,マルチステージ方式でtextitFN を識別する汎用パイプラインである Hard Instance Probing (HIP) を提案する。
この手法をFocalFormer3Dとしてインスタンス化する。
論文 参考訳（メタデータ） (2023-08-08T20:06:12Z) - LinK3D: Linear Keypoints Representation for 3D LiDAR Point Cloud [18.942933892804028]
本稿では,LinK3Dと呼ばれる3次元LiDAR点雲に対する線形キーポイント表現法を提案する。
LinK3Dは、典型的な回転するLiDARセンサーの10Hzでのセンサーフレームレートよりも高速で、優れたリアルタイム性能を示す。
提案手法はLiDARオドメトリータスクに拡張可能であり,優れた拡張性を示す。
論文 参考訳（メタデータ） (2022-06-13T06:50:56Z) - A Lightweight and Detector-free 3D Single Object Tracker on Point Clouds [50.54083964183614]
生のLiDARスキャンにおける物体の点雲は、通常スパースで不完全であるため、正確な目標固有検出を行うのは簡単ではない。
DMTは、複雑な3D検出器の使用を完全に除去する3Dトラッキングネットワークである。
論文 参考訳（メタデータ） (2022-03-08T17:49:07Z) - Multimodal Virtual Point 3D Detection [6.61319085872973]
ライダーをベースとしたセンサーは、現在の自動運転車を駆動する。
現在のLidarセンサーは、解像度とコストに関して従来のカラーカメラより20年遅れている。
本稿では,RGBセンサをLidarベースの3D認識にシームレスに融合する手法を提案する。
論文 参考訳（メタデータ） (2021-11-12T18:58:01Z) - PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object
Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21) [68.12101204123422]
点雲は3次元座標における空間データの密集したコンパイルである。
我々は3次元多目的追跡(MOT)のためのPointNetベースのアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-03T05:36:39Z) - Sparse LiDAR and Stereo Fusion (SLS-Fusion) for Depth Estimationand 3D
Object Detection [3.5488685789514736]
SLS-Fusionは、深度推定のためにニューラルネットワークを介して4ビームLiDARとステレオカメラからデータを融合する新しいアプローチです。
4ビームのLiDARは64ビームのLiDARよりも安価であるため、この手法は低コストのセンサベース手法に分類される。
論文 参考訳（メタデータ） (2021-03-05T23:10:09Z) - PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。
この2つのタスクを同一のメトリック空間で統一するモデルを提案する。
提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-17T05:11:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。