論文の概要: Event Camera and LiDAR based Human Tracking for Adverse Lighting
Conditions in Subterranean Environments
- arxiv url: http://arxiv.org/abs/2304.08908v1
- Date: Tue, 18 Apr 2023 11:27:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 15:09:26.055591
- Title: Event Camera and LiDAR based Human Tracking for Adverse Lighting
Conditions in Subterranean Environments
- Title（参考訳）: イベントカメラとlidarを用いた地中環境下の照明条件の人間追跡
- Authors: Mario A.V. Saucedo, Akash Patel, Rucha Sawlekar, Akshit Saradagi,
Christoforos Kanellakis, Ali-Akbar Agha-Mohammadi and George Nikolakopoulos
- Abstract要約: 本稿では,地下環境に対する新しいLiDARとイベントカメラ融合法を提案する。
提案手法では、イベントカメラとLiDARからの情報を融合して、ロボットのローカルフレーム内の人間や興味の対象をローカライズする。
提案手法の有効性を,パイオニア3AT移動ロボットを用いた実環境下で実験的に検証した。
- 参考スコア（独自算出の注目度）: 2.9988822560180437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this article, we propose a novel LiDAR and event camera fusion modality
for subterranean (SubT) environments for fast and precise object and human
detection in a wide variety of adverse lighting conditions, such as low or no
light, high-contrast zones and in the presence of blinding light sources. In
the proposed approach, information from the event camera and LiDAR are fused to
localize a human or an object-of-interest in a robot's local frame. The local
detection is then transformed into the inertial frame and used to set
references for a Nonlinear Model Predictive Controller (NMPC) for reactive
tracking of humans or objects in SubT environments. The proposed novel fusion
uses intensity filtering and K-means clustering on the LiDAR point cloud and
frequency filtering and connectivity clustering on the events induced in an
event camera by the returning LiDAR beams. The centroids of the clusters in the
event camera and LiDAR streams are then paired to localize reflective markers
present on safety vests and signs in SubT environments. The efficacy of the
proposed scheme has been experimentally validated in a real SubT environment (a
mine) with a Pioneer 3AT mobile robot. The experimental results show real-time
performance for human detection and the NMPC-based controller allows for
reactive tracking of a human or object of interest, even in complete darkness.
- Abstract（参考訳）: 本稿では,低照度や低照度,高コントラスト帯,目隠し光源など,様々な照明条件下での高速・高精度物体検出のための地下(subt)環境における新しいlidarとイベントカメラの融合モードを提案する。
提案手法では、イベントカメラとLiDARからの情報を融合して、ロボットのローカルフレーム内の人間や興味の対象をローカライズする。
局所検出は慣性フレームに変換され、SubT環境における人間や物体の反応性追跡のための非線形モデル予測制御器(NMPC)の参照を設定するのに使用される。
提案手法は,LiDAR点雲上での強度フィルタリングとK平均クラスタリングと,帰還するLiDARビームによってイベントカメラで誘導されるイベント上での周波数フィルタリングと接続クラスタリングを利用する。
次に、イベントカメラとLiDARストリームのクラスタのセントロイドをペアにして、SubT環境の安全ベストや標識に存在する反射マーカーをローカライズする。
提案手法の有効性は,パイオニア3AT移動ロボットを用いた実地SubT環境(鉱山)において実験的に検証されている。
実験結果は,人間の検出におけるリアルタイムな性能を示し,NMPCをベースとしたコントローラは,完全な暗黒でも,人や対象の反応追跡を可能にする。
関連論文リスト
- A New Adversarial Perspective for LiDAR-based 3D Object Detection [15.429996348453967]
我々は,LiDARでスキャンした2つのランダム物体(水霧と煙)の点雲からなる実世界のデータセット(ROLiD)を紹介する。
そこで我々は,PCS-GAN と命名された動き・内容分解生成対向ネットワークを用いた点雲列生成手法を提案する。
実験により, ランダム物体に基づく対向的摂動が車両検出を効果的に欺き, 3次元物体検出モデルの認識率を低下させることを示した。
論文 参考訳（メタデータ） (2024-12-17T15:36:55Z) - Efficient Real-time Smoke Filtration with 3D LiDAR for Search and Rescue
with Autonomous Heterogeneous Robotic Systems [56.838297900091426]
スモークとダストは、搭載された知覚システムに依存するため、あらゆる移動ロボットプラットフォームの性能に影響を与える。
本稿では,重みと空間情報に基づく新しいモジュラー計算フィルタを提案する。
論文 参考訳（メタデータ） (2023-08-14T16:48:57Z) - On the Generation of a Synthetic Event-Based Vision Dataset for
Navigation and Landing [69.34740063574921]
本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。
我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。
パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
論文 参考訳（メタデータ） (2023-08-01T09:14:20Z) - FEDORA: Flying Event Dataset fOr Reactive behAvior [9.470870778715689]
イベントベースのセンサーは、高速な動きを捉えるための標準フレームベースのカメラに代わる低レイテンシと低エネルギーの代替として登場した。
Flying Eventデータセット fOr Reactive behAviour (FEDORA) - 知覚タスクのための完全に合成されたデータセット。
論文 参考訳（メタデータ） (2023-05-22T22:59:05Z) - Event-based Simultaneous Localization and Mapping: A Comprehensive Survey [52.73728442921428]
ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。
Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
論文 参考訳（メタデータ） (2023-04-19T16:21:14Z) - RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object
Detection Systems [13.046347364043594]
自動運転では、LiDARとレーダーは環境認識に不可欠である。
最近の最先端の研究は、レーダーとLiDARの融合が悪天候の堅牢な検出につながることを明らかにしている。
鳥眼ビュー融合学習に基づくアンカーボックスフリー物体検出システムを提案する。
論文 参考訳（メタデータ） (2022-11-11T10:24:42Z) - LiDAR-guided object search and detection in Subterranean Environments [12.265807098187297]
この研究は、視覚と深度センサーの相補的な性質を利用して、より長距離での物体検出を支援するマルチモーダル情報を活用する。
提案された研究は、DARPA Subterranean Challengeのファイナルで収集されたデータセットに基づいて、地下の環境でANYmalの四足歩行ロボットを用いて徹底的に検証されている。
論文 参考訳（メタデータ） (2022-10-26T19:38:19Z) - Event Guided Depth Sensing [50.997474285910734]
バイオインスパイアされたイベントカメラ駆動深度推定アルゴリズムを提案する。
提案手法では,イベントカメラが検出したシーン活動に応じて,関心領域を高密度に照明する。
シミュレーションされた自律運転シーケンスと実際の屋内環境におけるアプローチの実現可能性を示す。
論文 参考訳（メタデータ） (2021-10-20T11:41:11Z) - Cycle and Semantic Consistent Adversarial Domain Adaptation for Reducing
Simulation-to-Real Domain Shift in LiDAR Bird's Eye View [110.83289076967895]
ドメイン適応プロセス中に関心のある小さなオブジェクトの情報を保存するために,事前の意味分類を用いたサイクガンに基づくbevドメイン適応法を提案する。
生成したBEVの品質は,KITTI 3D Object Detection Benchmarkの最先端3Dオブジェクト検出フレームワークを用いて評価されている。
論文 参考訳（メタデータ） (2021-04-22T12:47:37Z) - LIBRE: The Multiple 3D LiDAR Dataset [54.25307983677663]
We present LIBRE: LiDAR Benchmarking and Reference, a first-of-in-kind dataset with 10 different LiDAR sensor。
LIBREは、現在利用可能なLiDARを公平に比較するための手段を提供するために、研究コミュニティに貢献する。
また、既存の自動運転車やロボティクス関連のソフトウェアの改善も促進する。
論文 参考訳（メタデータ） (2020-03-13T06:17:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。