Fugu-MT 論文翻訳(概要): MUSES: The Multi-Sensor Semantic Perception Dataset for Driving under Uncertainty

論文の概要: MUSES: The Multi-Sensor Semantic Perception Dataset for Driving under Uncertainty

arxiv url: http://arxiv.org/abs/2401.12761v2
Date: Fri, 5 Jul 2024 12:00:37 GMT
ステータス: 処理完了
システム内更新日: 2024-07-09 00:13:02.015889
Title: MUSES: The Multi-Sensor Semantic Perception Dataset for Driving under Uncertainty
Title（参考訳）: MUSES:不確実性下での運転のためのマルチセンサセマンティック知覚データセット
Authors: Tim Brödermann, David Bruggemann, Christos Sakaridis, Kevin Ta, Odysseas Liagouris, Jason Corkill, Luc Van Gool,
Abstract要約: MUSES(MUlti-Sensor Semantic 知覚データセット)を導入する。データセットはフレームカメラ、ライダー、レーダー、イベントカメラ、IMU/GNSSセンサーを統合する。 MUSESは、様々な視覚条件下でモデルを評価するのに、トレーニングと挑戦の両方に効果的であることを証明している。
参考スコア（独自算出の注目度）: 46.369657697892634
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Achieving level-5 driving automation in autonomous vehicles necessitates a robust semantic visual perception system capable of parsing data from different sensors across diverse conditions. However, existing semantic perception datasets often lack important non-camera modalities typically used in autonomous vehicles, or they do not exploit such modalities to aid and improve semantic annotations in challenging conditions. To address this, we introduce MUSES, the MUlti-SEnsor Semantic perception dataset for driving in adverse conditions under increased uncertainty. MUSES includes synchronized multimodal recordings with 2D panoptic annotations for 2500 images captured under diverse weather and illumination. The dataset integrates a frame camera, a lidar, a radar, an event camera, and an IMU/GNSS sensor. Our new two-stage panoptic annotation protocol captures both class-level and instance-level uncertainty in the ground truth and enables the novel task of uncertainty-aware panoptic segmentation we introduce, along with standard semantic and panoptic segmentation. MUSES proves both effective for training and challenging for evaluating models under diverse visual conditions, and it opens new avenues for research in multimodal and uncertainty-aware dense semantic perception. Our dataset and benchmark are publicly available at https://muses.vision.ee.ethz.ch.
Abstract（参考訳）: 自動運転車におけるレベル5の運転自動化を実現するには、さまざまなセンサーからさまざまな状況でデータを解析できる堅牢なセマンティックな視覚認識システムが必要である。しかし、既存の意味認識データセットは、通常自動運転車で使用される重要な非カメラモダリティを欠いている場合が多い。そこで本稿では,MUSES(MUlti-Sensor Semantic 知覚データセット)を導入する。 MUSESには、様々な天候と照明下で撮影された2500枚の画像のための2Dパノプティクスアノテーションと同期したマルチモーダル記録が含まれている。データセットはフレームカメラ、ライダー、レーダー、イベントカメラ、IMU/GNSSセンサーを統合する。新しい2段階の汎視アノテーションプロトコルは、クラスレベルとインスタンスレベルの両方の不確かさを基盤として、標準的なセマンティクスと汎視セマンティクスとともに導入する不確実性対応の汎視セマンティクスの新たなタスクを可能にする。 MUSESは、様々な視覚的条件下でモデルを評価するためのトレーニングと挑戦の両方に有効であることを証明し、マルチモーダルおよび不確実性を考慮した密接なセマンティック知覚の研究のための新たな道を開く。私たちのデータセットとベンチマークはhttps://muses.vision.ee.ethz.ch.comで公開されています。

関連論文リスト

Graph-Based Multi-Modal Sensor Fusion for Autonomous Driving [3.770103075126785]
本稿では,グラフに基づく状態表現の開発に焦点をあてた,マルチモーダルセンサ融合に対する新しいアプローチを提案する。本稿では,マルチモーダルグラフを融合する最初のオンライン状態推定手法であるSensor-Agnostic Graph-Aware Kalman Filterを提案する。提案手法の有効性を,合成および実世界の運転データセットを用いた広範囲な実験により検証した。
論文参考訳（メタデータ） (2024-11-06T06:58:17Z)
Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、複数のセンサの融合を誘導するコンディショントークンを生成する。 MUSESデータセットでは,マルチモーダルパノプティクスセグメンテーションの59.7 PQ,セマンティックセグメンテーションの78.2 mIoU,公開ベンチマークの1位にランクインした。
論文参考訳（メタデータ） (2024-10-14T17:56:20Z)
SemanticSpray++: A Multimodal Dataset for Autonomous Driving in Wet Surface Conditions [10.306226508237348]
SemanticSpray++データセットは、湿った表面条件下でのハイウェイのようなシナリオのカメラ、LiDAR、レーダーデータのためのラベルを提供する。 3つのセンサーのモダリティをラベル付けすることで、データセットは、異なる知覚方法のパフォーマンスを分析するための包括的なテストベッドを提供する。
論文参考訳（メタデータ） (2024-06-14T11:46:48Z)
SUPS: A Simulated Underground Parking Scenario Dataset for Autonomous Driving [41.221988979184665]
SUPSは地下自動駐車のシミュレーションデータセットである。複数のセンサーと連続したイメージに合わせた複数のセマンティックラベルを備えた複数のタスクをサポートする。また、我々のデータセット上で、最先端のSLAMアルゴリズムと知覚モデルを評価する。
論文参考訳（メタデータ） (2023-02-25T02:59:12Z)
SHIFT: A Synthetic Driving Dataset for Continuous Multi-Task Domain Adaptation [152.60469768559878]
ShiFTは、自動運転のための最大規模のマルチタスク合成データセットである。曇り、雨と霧の強さ、昼の時間、車と歩行者の密度を個別に連続的に変化させる。私たちのデータセットとベンチマークツールキットはwww.vis.xyz/shift.comで公開されています。
論文参考訳（メタデータ） (2022-06-16T17:59:52Z)
SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2022-04-07T17:58:47Z)
SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving [94.11868795445798]
我々は,SODA10Mという名の自律走行用大規模物体検出ベンチマークをリリースし,1000万枚の未ラベル画像と6つの代表対象カテゴリをラベル付けした20K画像を含む。多様性を向上させるために、画像は32の異なる都市で、1フレームあたり10秒毎に異なる気象条件、期間、場所のシーンで収集される。我々は、既存の教師付き最先端検出モデル、一般的な自己監督型および半教師付きアプローチ、および将来のモデルの開発方法に関するいくつかの知見について、広範な実験と詳細な分析を行った。
論文参考訳（メタデータ） (2021-06-21T13:55:57Z)
DSEC: A Stereo Event Camera Dataset for Driving Scenarios [55.79329250951028]
本研究は,イベントカメラを用いた初の高分解能大規模ステレオデータセットを提案する。データセットは、様々な照明条件で駆動により収集された53のシーケンスを含む。イベントベースステレオアルゴリズムの開発と評価のための基礎的な真相の相違を提供する。
論文参考訳（メタデータ） (2021-03-10T12:10:33Z)
Camera-Lidar Integration: Probabilistic sensor fusion for semantic mapping [8.18198392834469]
自動走行車は、常に変化する環境の中を移動しながら、3次元の世界における物体/障害物を知覚し、認識できなければならない。本稿では,センサリーダ(カメラ,ライダー,IMU,ホイールエンコーダ)の不確実性,車両の動作の補償,セマンティックイメージのラベル確率を組み込んだ確率パイプラインを提案する。
論文参考訳（メタデータ） (2020-07-09T07:59:39Z)
SegVoxelNet: Exploring Semantic Context and Depth-aware Features for 3D Vehicle Detection from Point Cloud [39.99118618229583]
上記の2つの問題に対処する統合モデルSegVoxelNetを提案する。鳥の視線における自由電荷セマンティックセグメンテーションマスクを活用するために,セマンティックコンテクストエンコーダを提案する。分布差を明示的にモデル化する新規な深度認識ヘッドを設計し、深度認識ヘッドの各部分を目標検出範囲に集中させる。
論文参考訳（メタデータ） (2020-02-13T02:42:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。