論文の概要: Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles with
Label Propagation for Cross-Domain Adaptation
- arxiv url: http://arxiv.org/abs/2210.09739v1
- Date: Tue, 18 Oct 2022 10:32:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 15:51:21.705144
- Title: Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles with
Label Propagation for Cross-Domain Adaptation
- Title(参考訳): ラベル伝搬によるクロスドメイン適応型無人航空機のリアルタイムマルチモーダルセマンティクス融合
- Authors: Simon Bultmann, Jan Quenzel, Sven Behnke
- Abstract要約: 実時間意味推論と複数センサの融合のためのUAVシステムを提案する。
LiDARスキャンとRGBイメージのセマンティックセグメンテーション、およびRGBおよび熱画像のオブジェクト検出は、UAVコンピュータ上でオンラインで実行される。
都市環境および災害現場における実環境実験における統合システムの評価を行った。
- 参考スコア(独自算出の注目度): 28.78192888704324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unmanned aerial vehicles (UAVs) equipped with multiple complementary sensors
have tremendous potential for fast autonomous or remote-controlled semantic
scene analysis, e.g., for disaster examination. Here, we propose a UAV system
for real-time semantic inference and fusion of multiple sensor modalities.
Semantic segmentation of LiDAR scans and RGB images, as well as object
detection on RGB and thermal images, run online onboard the UAV computer using
lightweight CNN architectures and embedded inference accelerators. We follow a
late fusion approach where semantic information from multiple sensor modalities
augments 3D point clouds and image segmentation masks while also generating an
allocentric semantic map. Label propagation on the semantic map allows for
sensor-specific adaptation with cross-modality and cross-domain supervision.
Our system provides augmented semantic images and point clouds with $\approx$ 9
Hz. We evaluate the integrated system in real-world experiments in an urban
environment and at a disaster test site.
- Abstract(参考訳): 複数の補完センサーを装備した無人航空機(UAV)は、高速な自律的または遠隔操作型セマンティックシーン分析(例えば災害調査)に極めて有益である。
本稿では,複数センサモードのリアルタイムなセマンティック推論と融合のためのUAVシステムを提案する。
LiDARスキャンとRGBイメージのセマンティックセグメンテーション、およびRGBとサーマルイメージのオブジェクト検出は、軽量CNNアーキテクチャと組み込み推論アクセラレータを使用してUAVコンピュータ上でオンラインで実行される。
我々は,複数のセンサモードからのセマンティック情報が3次元点雲と画像分割マスクを増大させ,同中心のセマンティックマップを生成する。
セマンティックマップ上のラベルの伝搬は、クロスモダリティとクロスドメイン監視によるセンサ固有の適応を可能にする。
我々のシステムは、$\approx$9 Hzの強化セマンティックイメージとポイントクラウドを提供する。
都市環境および災害現場における実環境実験における統合システムの評価を行った。
関連論文リスト
- Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳(メタデータ) (2023-05-12T18:08:51Z) - Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。
私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。
提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文 参考訳(メタデータ) (2023-04-27T23:03:52Z) - RMMDet: Road-Side Multitype and Multigroup Sensor Detection System for
Autonomous Driving [3.8917150802484994]
RMMDetは、自動運転のための道路側マルチタイプおよびマルチグループセンサー検出システムである。
ROSベースの仮想環境を用いて実環境をシミュレートする。
局所的なデータセットと実際のサンドテーブルフィールドを作成し、様々な実験を行う。
論文 参考訳(メタデータ) (2023-03-09T12:13:39Z) - ImLiDAR: Cross-Sensor Dynamic Message Propagation Network for 3D Object
Detection [20.44294678711783]
我々は,カメラ画像とLiDAR点雲のマルチスケール特徴を段階的に融合させることにより,センサ間差を狭める新しい3ODパラダイムであるImLiDARを提案する。
まず,マルチスケール画像とポイント特徴の最良の組み合わせを目的とした,クロスセンサ動的メッセージ伝搬モジュールを提案する。
第二に、効率的なセットベース検出器を設計できるような、直接セット予測問題を提起する。
論文 参考訳(メタデータ) (2022-11-17T13:31:23Z) - Paint and Distill: Boosting 3D Object Detection with Semantic Passing
Network [70.53093934205057]
ライダーやカメラセンサーからの3Dオブジェクト検出タスクは、自動運転に不可欠である。
本研究では,既存のライダーベース3D検出モデルの性能向上を図るために,SPNetという新しいセマンティックパスフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-12T12:35:34Z) - 3D Semantic Scene Perception using Distributed Smart Edge Sensors [29.998917158604694]
本稿では,分散スマートエッジセンサのネットワークからなる3次元セマンティックシーン認識システムを提案する。
センサーノードは、組み込みCNN推論アクセラレータとRGB-Dおよびサーマルカメラに基づいている。
提案システムでは,複数の人物の3次元ポーズをリアルタイムで推定し,意味的アノテーションを付加したシーンビューを提供する。
論文 参考訳(メタデータ) (2022-05-03T12:46:26Z) - Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles [28.504921333436837]
実時間意味推論と複数センサの融合のためのUAVシステムを提案する。
LiDARスキャンとRGBイメージのセマンティックセグメンテーション、およびRGBおよび熱画像のオブジェクト検出は、UAVコンピュータ上でオンラインで実行される。
都市環境における実環境実験における統合システムの評価を行った。
論文 参考訳(メタデータ) (2021-08-14T20:16:08Z) - Perception-aware Multi-sensor Fusion for 3D LiDAR Semantic Segmentation [59.42262859654698]
3Dセマンティックセグメンテーションは、自動運転やロボット工学など、多くのアプリケーションにおいてシーン理解において重要である。
既存の融合法は、2つのモードの差が大きいため、有望な性能を達成できない。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
論文 参考訳(メタデータ) (2021-06-21T10:47:26Z) - Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision
Action Recognition [131.6328804788164]
本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。
SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
論文 参考訳(メタデータ) (2020-09-01T03:38:31Z) - Towards Autonomous Driving: a Multi-Modal 360$^{\circ}$ Perception
Proposal [87.11988786121447]
本稿では,自動運転車の3次元物体検出と追跡のためのフレームワークを提案する。
このソリューションは、新しいセンサ融合構成に基づいて、正確で信頼性の高い道路環境検出を提供する。
自動運転車に搭載されたシステムの様々なテストは、提案された知覚スタックの適合性を評価することに成功している。
論文 参考訳(メタデータ) (2020-08-21T20:36:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。