論文の概要: MUSES: The Multi-Sensor Semantic Perception Dataset for Driving under
Uncertainty
- arxiv url: http://arxiv.org/abs/2401.12761v1
- Date: Tue, 23 Jan 2024 13:43:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 15:31:06.790268
- Title: MUSES: The Multi-Sensor Semantic Perception Dataset for Driving under
Uncertainty
- Title（参考訳）: MUSES:不確実性下での運転のためのマルチセンサセマンティック知覚データセット
- Authors: Tim Br\"odermann and David Bruggemann and Christos Sakaridis and Kevin
Ta and Odysseas Liagouris and Jason Corkill and Luc Van Gool
- Abstract要約: MUSES(MUlti-Sensor Semantic 知覚データセット)を導入する。
データセットはフレームカメラ、ライダー、レーダー、イベントカメラ、IMU/GNSSセンサーを統合する。
MUSESは、様々な視覚条件下でモデルを評価するのに、トレーニングと挑戦の両方に効果的であることを証明している。
- 参考スコア（独自算出の注目度）: 48.10114997011645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Achieving level-5 driving automation in autonomous vehicles necessitates a
robust semantic visual perception system capable of parsing data from different
sensors across diverse conditions. However, existing semantic perception
datasets often lack important non-camera modalities typically used in
autonomous vehicles, or they do not exploit such modalities to aid and improve
semantic annotations in challenging conditions. To address this, we introduce
MUSES, the MUlti-SEnsor Semantic perception dataset for driving in adverse
conditions under increased uncertainty. MUSES includes synchronized multimodal
recordings with 2D panoptic annotations for 2500 images captured under diverse
weather and illumination. The dataset integrates a frame camera, a lidar, a
radar, an event camera, and an IMU/GNSS sensor. Our new two-stage panoptic
annotation protocol captures both class-level and instance-level uncertainty in
the ground truth and enables the novel task of uncertainty-aware panoptic
segmentation we introduce, along with standard semantic and panoptic
segmentation. MUSES proves both effective for training and challenging for
evaluating models under diverse visual conditions, and it opens new avenues for
research in multimodal and uncertainty-aware dense semantic perception. Our
dataset and benchmark will be made publicly available.
- Abstract（参考訳）: 自動運転車のレベル5運転自動化を実現するには、さまざまな状況でさまざまなセンサーからデータを解析できるロバストなセマンティックビジュアル知覚システムが必要である。
しかしながら、既存のセマンティクス知覚データセットは、自動運転車で一般的に使用される重要な非カメラモダリティを欠いている場合が多い。
そこで本研究では,不確実性が増大する状況下での運転のためのマルチセンサ意味知覚データセットであるmusesを紹介する。
MUSESには、様々な天候と照明下で撮影された2500枚の画像のための2Dパノプティクスアノテーションを備えた同期マルチモーダル記録が含まれている。
データセットには、フレームカメラ、lidar、レーダー、イベントカメラ、im/gnssセンサーが組み込まれている。
新しい2段階のpanopticアノテーションプロトコルは、基底真理におけるクラスレベルとインスタンスレベルの不確実性の両方をキャプチャし、我々が導入する不確実性を認識したpanopticセグメンテーションの新たなタスクと、標準セマンティクスとpanopticセグメンテーションを可能にします。
MUSESは、様々な視覚条件下でモデルを評価するためのトレーニングと挑戦の両方に有効であることを証明し、マルチモーダルおよび不確実性を考慮した密接な意味知覚の研究のための新たな道を開く。
私たちのデータセットとベンチマークは公開されます。
関連論文リスト
- Graph-Based Multi-Modal Sensor Fusion for Autonomous Driving [3.770103075126785]
本稿では,グラフに基づく状態表現の開発に焦点をあてた,マルチモーダルセンサ融合に対する新しいアプローチを提案する。
本稿では,マルチモーダルグラフを融合する最初のオンライン状態推定手法であるSensor-Agnostic Graph-Aware Kalman Filterを提案する。
提案手法の有効性を,合成および実世界の運転データセットを用いた広範囲な実験により検証した。
論文 参考訳（メタデータ） (2024-11-06T06:58:17Z) - Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。
CAFuserは、RGBカメラ入力を用いて環境条件を分類し、複数のセンサの融合を誘導するコンディショントークンを生成する。
MUSESデータセットでは,マルチモーダルパノプティクスセグメンテーションの59.7 PQ,セマンティックセグメンテーションの78.2 mIoU,公開ベンチマークの1位にランクインした。
論文 参考訳（メタデータ） (2024-10-14T17:56:20Z) - SemanticSpray++: A Multimodal Dataset for Autonomous Driving in Wet Surface Conditions [10.306226508237348]
SemanticSpray++データセットは、湿った表面条件下でのハイウェイのようなシナリオのカメラ、LiDAR、レーダーデータのためのラベルを提供する。
3つのセンサーのモダリティをラベル付けすることで、データセットは、異なる知覚方法のパフォーマンスを分析するための包括的なテストベッドを提供する。
論文 参考訳（メタデータ） (2024-06-14T11:46:48Z) - SUPS: A Simulated Underground Parking Scenario Dataset for Autonomous
Driving [41.221988979184665]
SUPSは地下自動駐車のシミュレーションデータセットである。
複数のセンサーと連続したイメージに合わせた複数のセマンティックラベルを備えた複数のタスクをサポートする。
また、我々のデータセット上で、最先端のSLAMアルゴリズムと知覚モデルを評価する。
論文 参考訳（メタデータ） (2023-02-25T02:59:12Z) - SHIFT: A Synthetic Driving Dataset for Continuous Multi-Task Domain
Adaptation [152.60469768559878]
ShiFTは、自動運転のための最大規模のマルチタスク合成データセットである。
曇り、雨と霧の強さ、昼の時間、車と歩行者の密度を個別に連続的に変化させる。
私たちのデータセットとベンチマークツールキットはwww.vis.xyz/shift.comで公開されています。
論文 参考訳（メタデータ） (2022-06-16T17:59:52Z) - SurroundDepth: Entangling Surrounding Views for Self-Supervised
Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。
具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。
実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-04-07T17:58:47Z) - SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous
Driving [94.11868795445798]
我々は,SODA10Mという名の自律走行用大規模物体検出ベンチマークをリリースし,1000万枚の未ラベル画像と6つの代表対象カテゴリをラベル付けした20K画像を含む。
多様性を向上させるために、画像は32の異なる都市で、1フレームあたり10秒毎に異なる気象条件、期間、場所のシーンで収集される。
我々は、既存の教師付き最先端検出モデル、一般的な自己監督型および半教師付きアプローチ、および将来のモデルの開発方法に関するいくつかの知見について、広範な実験と詳細な分析を行った。
論文 参考訳（メタデータ） (2021-06-21T13:55:57Z) - DSEC: A Stereo Event Camera Dataset for Driving Scenarios [55.79329250951028]
本研究は,イベントカメラを用いた初の高分解能大規模ステレオデータセットを提案する。
データセットは、様々な照明条件で駆動により収集された53のシーケンスを含む。
イベントベースステレオアルゴリズムの開発と評価のための基礎的な真相の相違を提供する。
論文 参考訳（メタデータ） (2021-03-10T12:10:33Z) - Camera-Lidar Integration: Probabilistic sensor fusion for semantic
mapping [8.18198392834469]
自動走行車は、常に変化する環境の中を移動しながら、3次元の世界における物体/障害物を知覚し、認識できなければならない。
本稿では,センサリーダ(カメラ,ライダー,IMU,ホイールエンコーダ)の不確実性,車両の動作の補償,セマンティックイメージのラベル確率を組み込んだ確率パイプラインを提案する。
論文 参考訳（メタデータ） (2020-07-09T07:59:39Z) - SegVoxelNet: Exploring Semantic Context and Depth-aware Features for 3D
Vehicle Detection from Point Cloud [39.99118618229583]
上記の2つの問題に対処する統合モデルSegVoxelNetを提案する。
鳥の視線における自由電荷セマンティックセグメンテーションマスクを活用するために,セマンティックコンテクストエンコーダを提案する。
分布差を明示的にモデル化する新規な深度認識ヘッドを設計し、深度認識ヘッドの各部分を目標検出範囲に集中させる。
論文 参考訳（メタデータ） (2020-02-13T02:42:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。