論文の概要: Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles

• arxiv url: http://arxiv.org/abs/2108.06608v1
• Date: Sat, 14 Aug 2021 20:16:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 14:48:58.346063
• Title: Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles
• Title（参考訳）: 無人航空機におけるリアルタイムマルチモーダルセマンティクス融合
• Authors: Simon Bultmann, Jan Quenzel and Sven Behnke
• Abstract要約: 実時間意味推論と複数センサの融合のためのUAVシステムを提案する。 LiDARスキャンとRGBイメージのセマンティックセグメンテーション、およびRGBおよび熱画像のオブジェクト検出は、UAVコンピュータ上でオンラインで実行される。 都市環境における実環境実験における統合システムの評価を行った。
• 参考スコア（独自算出の注目度）: 28.504921333436837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unmanned aerial vehicles (UAVs) equipped with multiple complementary sensors have tremendous potential for fast autonomous or remote-controlled semantic scene analysis, e.g., for disaster examination. In this work, we propose a UAV system for real-time semantic inference and fusion of multiple sensor modalities. Semantic segmentation of LiDAR scans and RGB images, as well as object detection on RGB and thermal images, run online onboard the UAV computer using lightweight CNN architectures and embedded inference accelerators. We follow a late fusion approach where semantic information from multiple modalities augments 3D point clouds and image segmentation masks while also generating an allocentric semantic map. Our system provides augmented semantic images and point clouds with $\approx\,$9$\,$Hz. We evaluate the integrated system in real-world experiments in an urban environment.
• Abstract（参考訳）: 複数の補完センサーを装備した無人航空機(UAV)は、高速な自律的または遠隔操作型セマンティックシーン分析(例えば災害調査)に極めて有益である。 本研究では,実時間意味推論と複数センサの融合のためのUAVシステムを提案する。 LiDARスキャンとRGBイメージのセマンティックセグメンテーション、およびRGBとサーマルイメージのオブジェクト検出は、軽量CNNアーキテクチャと組み込み推論アクセラレータを使用してUAVコンピュータ上でオンラインで実行される。 マルチモーダル性からのセマンティック情報が3次元点雲と画像分割マスクを増大させ、同時にアロセントリックなセマンティックマップを生成する。 我々のシステムは、拡張されたセマンティックイメージとポイントクラウドを$\approx\,$9$,$hzで提供する。 都市環境における実環境実験における統合システムの評価を行う。

関連論文リスト

• Deep Multimodal Fusion for Semantic Segmentation of Remote Sensing Earth Observation Data [0.08192907805418582]
  本稿では,セマンティックセグメンテーションのための後期融合深層学習モデル(LF-DLM)を提案する。 1つのブランチは、UNetFormerがキャプチャした空中画像の詳細なテクスチャと、ViT(Multi-Axis Vision Transformer)バックボーンを統合する。 もう一方のブランチは、U-ViNet(U-TAE)を用いてSentinel-2衛星画像Max時系列から複雑な時間ダイナミクスをキャプチャする。
  論文  参考訳（メタデータ） (2024-10-01T07:50:37Z)
• RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
  本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。 RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。 提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
  論文  参考訳（メタデータ） (2024-09-08T05:14:27Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• Neural Implicit Dense Semantic SLAM [83.04331351572277]
  本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。 私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。 提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
  論文  参考訳（メタデータ） (2023-04-27T23:03:52Z)
• Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles with Label Propagation for Cross-Domain Adaptation [28.78192888704324]
  実時間意味推論と複数センサの融合のためのUAVシステムを提案する。 LiDARスキャンとRGBイメージのセマンティックセグメンテーション、およびRGBおよび熱画像のオブジェクト検出は、UAVコンピュータ上でオンラインで実行される。 都市環境および災害現場における実環境実験における統合システムの評価を行った。
  論文  参考訳（メタデータ） (2022-10-18T10:32:11Z)
• Paint and Distill: Boosting 3D Object Detection with Semantic Passing Network [70.53093934205057]
  ライダーやカメラセンサーからの3Dオブジェクト検出タスクは、自動運転に不可欠である。 本研究では,既存のライダーベース3D検出モデルの性能向上を図るために,SPNetという新しいセマンティックパスフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T12:35:34Z)
• 3D Semantic Scene Perception using Distributed Smart Edge Sensors [29.998917158604694]
  本稿では,分散スマートエッジセンサのネットワークからなる3次元セマンティックシーン認識システムを提案する。 センサーノードは、組み込みCNN推論アクセラレータとRGB-Dおよびサーマルカメラに基づいている。 提案システムでは,複数の人物の3次元ポーズをリアルタイムで推定し,意味的アノテーションを付加したシーンビューを提供する。
  論文  参考訳（メタデータ） (2022-05-03T12:46:26Z)
• CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object Tracking [9.62721286522053]
  本稿では,レーダとカメラセンサの融合に基づく共同物体検出と追跡のためのエンドツーエンドネットワークを提案する。 提案手法では,物体検出に中心型レーダカメラ融合アルゴリズムを用い,物体関連にグリーディアルゴリズムを用いる。 提案手法は,20.0AMOTAを達成し,ベンチマークにおける視覚ベースの3Dトラッキング手法よりも優れる,挑戦的なnuScenesデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-07-11T23:56:53Z)
• Multi-Modal Fusion Transformer for End-to-End Autonomous Driving [59.60483620730437]
  画像表現とLiDAR表現を注目で統合する,新しいマルチモードフュージョントランスフォーマであるTransFuserを提案する。 本手法は, 衝突を76%低減しつつ, 最先端駆動性能を実現する。
  論文  参考訳（メタデータ） (2021-04-19T11:48:13Z)
• Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth Estimation [81.08111209632501]
  長距離深度推定のための幾何認識型ステレオLiDAR融合ネットワークを提案する。 ステレオ画像の対応を統一した3Dボリューム空間で導くためのキューとして、スパースで正確な点群を活用します。 我々のネットワークは,KITTIおよびVirtual-KITTIデータセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-03-24T03:24:46Z)
• Towards Autonomous Driving: a Multi-Modal 360$^{\circ}$ Perception Proposal [87.11988786121447]
  本稿では,自動運転車の3次元物体検出と追跡のためのフレームワークを提案する。 このソリューションは、新しいセンサ融合構成に基づいて、正確で信頼性の高い道路環境検出を提供する。 自動運転車に搭載されたシステムの様々なテストは、提案された知覚スタックの適合性を評価することに成功している。
  論文  参考訳（メタデータ） (2020-08-21T20:36:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。