論文の概要: DSERT-RoLL: Robust Multi-Modal Perception for Diverse Driving Conditions with Stereo Event-RGB-Thermal Cameras, 4D Radar, and Dual-LiDAR
- arxiv url: http://arxiv.org/abs/2604.03685v1
- Date: Sat, 04 Apr 2026 11:03:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.721839
- Title: DSERT-RoLL: Robust Multi-Modal Perception for Diverse Driving Conditions with Stereo Event-RGB-Thermal Cameras, 4D Radar, and Dual-LiDAR
- Title(参考訳): DSERT-RoLL:ステレオイベントRGBサーマルカメラ、4Dレーダ、デュアルLiDARを用いた多目的運転条件に対するロバストマルチモード知覚
- Authors: Hoonhee Cho, Jae-Young Kang, Yuhwan Jeong, Yunseo Yang, Wonyoung Lee, Youngho Kim, Kuk-Jin Yoon,
- Abstract要約: DSERT-RoLLは、ステレオイベント、RGB、サーマルカメラを4DレーダーとデュアルLiDARと組み合わせた駆動データセットである。
データセットは正確な2Dおよび3Dバウンディングボックスを提供し、トラックIDとエゴ車両のオドメトリーを提供する。
- 参考スコア(独自算出の注目度): 66.23438033222963
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we present DSERT-RoLL, a driving dataset that incorporates stereo event, RGB, and thermal cameras together with 4D radar and dual LiDAR, collected across diverse weather and illumination conditions. The dataset provides precise 2D and 3D bounding boxes with track IDs and ego vehicle odometry, enabling fair comparisons within and across sensor combinations. It is designed to alleviate data scarcity for novel sensors such as event cameras and 4D radar and to support systematic studies of their behavior. We establish unified 3D and 2D benchmarks that enable direct comparison of characteristics and strengths across sensor families and within each family. We report baselines for representative single modality and multimodal methods and provide protocols that encourage research on different fusion strategies and sensor combinations. In addition, we propose a fusion framework that integrates sensor specific cues into a unified feature space and improves 3D detection robustness under varied weather and lighting.
- Abstract(参考訳): 本稿では,ステレオイベント,RGB,サーマルカメラと4DレーダとデュアルLiDARを組み合わせた運転データセットDSERT-RoLLについて述べる。
データセットは、トラックIDとエゴ車両のオドメトリーを備えた正確な2Dおよび3Dバウンディングボックスを提供し、センサーの組み合わせ間の公正な比較を可能にする。
イベントカメラや4Dレーダーのような新しいセンサーのデータ不足を軽減し、その振る舞いの体系的な研究を支援するように設計されている。
センサファミリ内および各ファミリ内における特性と強度の直接比較を可能にする,統合された3Dおよび2Dベンチマークを確立する。
代表的な単一モード法とマルチモーダル法の基礎を報告し、異なる融合戦略とセンサの組み合わせの研究を促進するためのプロトコルを提供する。
さらに,センサ特定キューを統一的な特徴空間に統合し,天候や照明の異なる環境下での3次元検出の堅牢性を向上させる融合フレームワークを提案する。
関連論文リスト
- V2X-Radar: A Multi-modal Dataset with 4D Radar for Cooperative Perception [61.58737390490639]
V2X-Radarは、4Dレーダを特徴とする世界初の大規模実世界のマルチモーダルデータセットである。
データセットは20KのLiDARフレーム、40Kのカメライメージ、350Kの注釈付きボックスを含む20Kの4Dレーダデータで構成されている。
様々な研究領域をサポートするために, 協調認識のためのV2X-Radar-C, 路面認識のためのV2X-Radar-I, 単車知覚のためのV2X-Radar-Vを確立した。
論文 参考訳(メタデータ) (2024-11-17T04:59:00Z) - V2X-R: Cooperative LiDAR-4D Radar Fusion with Denoising Diffusion for 3D Object Detection [64.93675471780209]
我々は、LiDAR、カメラ、および4Dレーダを取り入れた初のシミュレーションV2XデータセットであるV2X-Rを提案する。
V2X-Rには12,079のシナリオがあり、LiDARと4Dレーダーポイント雲の37,727フレーム、150,908の画像、170,859の注釈付き3D車両バウンディングボックスがある。
本稿では,3次元物体検出のための新しいコラボレーティブLiDAR-4Dレーダ融合パイプラインを提案し,様々な融合戦略を用いて実装する。
論文 参考訳(メタデータ) (2024-11-13T07:41:47Z) - ThermRad: A Multi-modal Dataset for Robust 3D Object Detection under
Challenging Conditions [15.925365473140479]
ThermRadと呼ばれる新しいマルチモーダルデータセットは、3D LiDAR、4Dレーダー、RGBカメラ、サーマルカメラを含む。
本研究では4次元レーダーとサーマルカメラの相補的な強度を利用して物体検出性能を向上させるRTDF-RCNNと呼ばれる新しいマルチモーダル融合法を提案する。
本手法は,自動車,歩行者,自転車の検出において,それぞれ7.98%,24.27%,27.15%以上の改善を実現している。
論文 参考訳(メタデータ) (2023-08-20T04:34:30Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳(メタデータ) (2023-05-12T18:08:51Z) - FUTR3D: A Unified Sensor Fusion Framework for 3D Detection [18.70932813595532]
ほぼ任意のセンサ構成で使用できる3D検出のための最初の統合エンドツーエンドセンサフュージョンフレームワークR3Dを提案する。
R3Dは、クエリベースのModality-Agnostic Feature Sampler (MAFS)と、3D検出のためのセット・ツー・セット・ロスを備えた変換器デコーダを採用している。
NuScenesデータセットでは、R3Dは、さまざまなセンサーの組み合わせで特別に設計されたメソッドよりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-03-20T20:41:55Z) - EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-21T10:47:26Z) - LIBRE: The Multiple 3D LiDAR Dataset [54.25307983677663]
We present LIBRE: LiDAR Benchmarking and Reference, a first-of-in-kind dataset with 10 different LiDAR sensor。
LIBREは、現在利用可能なLiDARを公平に比較するための手段を提供するために、研究コミュニティに貢献する。
また、既存の自動運転車やロボティクス関連のソフトウェアの改善も促進する。
論文 参考訳(メタデータ) (2020-03-13T06:17:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。