論文の概要: Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles with Label Propagation for Cross-Domain Adaptation

• arxiv url: http://arxiv.org/abs/2210.09739v1
• Date: Tue, 18 Oct 2022 10:32:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 15:51:21.705144
• Title: Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles with Label Propagation for Cross-Domain Adaptation
• Title（参考訳）: ラベル伝搬によるクロスドメイン適応型無人航空機のリアルタイムマルチモーダルセマンティクス融合
• Authors: Simon Bultmann, Jan Quenzel, Sven Behnke
• Abstract要約: 実時間意味推論と複数センサの融合のためのUAVシステムを提案する。 LiDARスキャンとRGBイメージのセマンティックセグメンテーション、およびRGBおよび熱画像のオブジェクト検出は、UAVコンピュータ上でオンラインで実行される。 都市環境および災害現場における実環境実験における統合システムの評価を行った。
• 参考スコア（独自算出の注目度）: 28.78192888704324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unmanned aerial vehicles (UAVs) equipped with multiple complementary sensors have tremendous potential for fast autonomous or remote-controlled semantic scene analysis, e.g., for disaster examination. Here, we propose a UAV system for real-time semantic inference and fusion of multiple sensor modalities. Semantic segmentation of LiDAR scans and RGB images, as well as object detection on RGB and thermal images, run online onboard the UAV computer using lightweight CNN architectures and embedded inference accelerators. We follow a late fusion approach where semantic information from multiple sensor modalities augments 3D point clouds and image segmentation masks while also generating an allocentric semantic map. Label propagation on the semantic map allows for sensor-specific adaptation with cross-modality and cross-domain supervision. Our system provides augmented semantic images and point clouds with $\approx$ 9 Hz. We evaluate the integrated system in real-world experiments in an urban environment and at a disaster test site.
• Abstract（参考訳）: 複数の補完センサーを装備した無人航空機(UAV)は、高速な自律的または遠隔操作型セマンティックシーン分析(例えば災害調査)に極めて有益である。 本稿では,複数センサモードのリアルタイムなセマンティック推論と融合のためのUAVシステムを提案する。 LiDARスキャンとRGBイメージのセマンティックセグメンテーション、およびRGBとサーマルイメージのオブジェクト検出は、軽量CNNアーキテクチャと組み込み推論アクセラレータを使用してUAVコンピュータ上でオンラインで実行される。 我々は,複数のセンサモードからのセマンティック情報が3次元点雲と画像分割マスクを増大させ,同中心のセマンティックマップを生成する。 セマンティックマップ上のラベルの伝搬は、クロスモダリティとクロスドメイン監視によるセンサ固有の適応を可能にする。 我々のシステムは、$\approx$9 Hzの強化セマンティックイメージとポイントクラウドを提供する。 都市環境および災害現場における実環境実験における統合システムの評価を行った。

関連論文リスト

• Deep Multimodal Fusion for Semantic Segmentation of Remote Sensing Earth Observation Data [0.08192907805418582]
  本稿では,セマンティックセグメンテーションのための後期融合深層学習モデル(LF-DLM)を提案する。 1つのブランチは、UNetFormerがキャプチャした空中画像の詳細なテクスチャと、ViT(Multi-Axis Vision Transformer)バックボーンを統合する。 もう一方のブランチは、U-ViNet(U-TAE)を用いてSentinel-2衛星画像Max時系列から複雑な時間ダイナミクスをキャプチャする。
  論文  参考訳（メタデータ） (2024-10-01T07:50:37Z)
• Cross-Domain Spatial Matching for Camera and Radar Sensor Data Fusion in Autonomous Vehicle Perception System [0.0]
  本稿では,自律走行車認識システムにおける3次元物体検出のためのカメラとレーダーセンサの融合問題に対する新しいアプローチを提案する。 我々のアプローチは、ディープラーニングの最近の進歩に基づいており、両方のセンサーの強度を活用して物体検出性能を向上させる。 提案手法は単一センサ・ソリューションよりも優れた性能を実現し,他のトップレベルの融合手法と直接競合できることを示す。
  論文  参考訳（メタデータ） (2024-04-25T12:04:31Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• Neural Implicit Dense Semantic SLAM [83.04331351572277]
  本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。 私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。 提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
  論文  参考訳（メタデータ） (2023-04-27T23:03:52Z)
• RMMDet: Road-Side Multitype and Multigroup Sensor Detection System for Autonomous Driving [3.8917150802484994]
  RMMDetは、自動運転のための道路側マルチタイプおよびマルチグループセンサー検出システムである。 ROSベースの仮想環境を用いて実環境をシミュレートする。 局所的なデータセットと実際のサンドテーブルフィールドを作成し、様々な実験を行う。
  論文  参考訳（メタデータ） (2023-03-09T12:13:39Z)
• Paint and Distill: Boosting 3D Object Detection with Semantic Passing Network [70.53093934205057]
  ライダーやカメラセンサーからの3Dオブジェクト検出タスクは、自動運転に不可欠である。 本研究では,既存のライダーベース3D検出モデルの性能向上を図るために,SPNetという新しいセマンティックパスフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T12:35:34Z)
• 3D Semantic Scene Perception using Distributed Smart Edge Sensors [29.998917158604694]
  本稿では,分散スマートエッジセンサのネットワークからなる3次元セマンティックシーン認識システムを提案する。 センサーノードは、組み込みCNN推論アクセラレータとRGB-Dおよびサーマルカメラに基づいている。 提案システムでは,複数の人物の3次元ポーズをリアルタイムで推定し,意味的アノテーションを付加したシーンビューを提供する。
  論文  参考訳（メタデータ） (2022-05-03T12:46:26Z)
• Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles [28.504921333436837]
  実時間意味推論と複数センサの融合のためのUAVシステムを提案する。 LiDARスキャンとRGBイメージのセマンティックセグメンテーション、およびRGBおよび熱画像のオブジェクト検出は、UAVコンピュータ上でオンラインで実行される。 都市環境における実環境実験における統合システムの評価を行った。
  論文  参考訳（メタデータ） (2021-08-14T20:16:08Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• Towards Autonomous Driving: a Multi-Modal 360$^{\circ}$ Perception Proposal [87.11988786121447]
  本稿では,自動運転車の3次元物体検出と追跡のためのフレームワークを提案する。 このソリューションは、新しいセンサ融合構成に基づいて、正確で信頼性の高い道路環境検出を提供する。 自動運転車に搭載されたシステムの様々なテストは、提案された知覚スタックの適合性を評価することに成功している。
  論文  参考訳（メタデータ） (2020-08-21T20:36:21Z)
• siaNMS: Non-Maximum Suppression with Siamese Networks for Multi-Camera 3D Object Detection [65.03384167873564]
  サイムズネットワークは、よく知られた3Dオブジェクト検出器アプローチのパイプラインに統合される。 アソシエーションはオブジェクトの3Dボックスレグレッションを強化するために利用される。 nuScenesデータセットの実験的評価は,提案手法が従来のNMS手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2020-02-19T15:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。