論文の概要: RaLiFlow: Scene Flow Estimation with 4D Radar and LiDAR Point Clouds
- arxiv url: http://arxiv.org/abs/2512.10376v1
- Date: Thu, 11 Dec 2025 07:41:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-12 16:15:42.253626
- Title: RaLiFlow: Scene Flow Estimation with 4D Radar and LiDAR Point Clouds
- Title(参考訳): RaLiFlow: 4DレーダとLiDAR点雲を用いたシーンフロー推定
- Authors: Jingyun Fu, Zhiyu Xiang, Na Zhao,
- Abstract要約: 我々は、パブリックな現実世界の自動車のデータセットに基づいて、Radar-LiDARシーンフローデータセットを構築した。
4DレーダとLiDARのための最初の共同シーンフロー学習フレームワークであるRaLiFlowを紹介する。
提案手法は,既存のLiDAR法とレーダ方式の単一モード法とを有意差で比較した。
- 参考スコア(独自算出の注目度): 10.906975408529895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent multimodal fusion methods, integrating images with LiDAR point clouds, have shown promise in scene flow estimation. However, the fusion of 4D millimeter wave radar and LiDAR remains unexplored. Unlike LiDAR, radar is cheaper, more robust in various weather conditions and can detect point-wise velocity, making it a valuable complement to LiDAR. However, radar inputs pose challenges due to noise, low resolution, and sparsity. Moreover, there is currently no dataset that combines LiDAR and radar data specifically for scene flow estimation. To address this gap, we construct a Radar-LiDAR scene flow dataset based on a public real-world automotive dataset. We propose an effective preprocessing strategy for radar denoising and scene flow label generation, deriving more reliable flow ground truth for radar points out of the object boundaries. Additionally, we introduce RaLiFlow, the first joint scene flow learning framework for 4D radar and LiDAR, which achieves effective radar-LiDAR fusion through a novel Dynamic-aware Bidirectional Cross-modal Fusion (DBCF) module and a carefully designed set of loss functions. The DBCF module integrates dynamic cues from radar into the local cross-attention mechanism, enabling the propagation of contextual information across modalities. Meanwhile, the proposed loss functions mitigate the adverse effects of unreliable radar data during training and enhance the instance-level consistency in scene flow predictions from both modalities, particularly for dynamic foreground areas. Extensive experiments on the repurposed scene flow dataset demonstrate that our method outperforms existing LiDAR-based and radar-based single-modal methods by a significant margin.
- Abstract(参考訳): 近年,LiDAR点雲に画像を統合するマルチモーダル融合法は,シーンフロー推定において有望であることを示す。
しかし、4Dミリ波レーダーとLiDARの融合は未解明のままである。
LiDARとは異なり、レーダーは安価で、様々な気象条件下ではより堅牢であり、ポイントワイズ速度を検出することができるため、LiDARを補完する価値がある。
しかし、レーダー入力はノイズ、低分解能、空間性などの問題を引き起こす。
さらに、現在、シーンフロー推定専用のLiDARとレーダーデータを組み合わせたデータセットは存在しない。
このギャップに対処するため、パブリックな現実世界の自動車のデータセットに基づいたRadar-LiDARシーンフローデータセットを構築した。
本研究では,レーダ境界外におけるレーダ点に対するより信頼性の高いフローグラウンド真理を導出する,レーダデノケーションとシーンフローラベル生成のための効果的な前処理戦略を提案する。
さらに、4DレーダとLiDARのための最初の共同シーンフロー学習フレームワークであるRaLiFlowを紹介し、新しい動的に認識された双方向クロスモーダルフュージョン(DBCF)モジュールと、慎重に設計された損失関数セットを通じて、効果的なレーダ-LiDAR融合を実現する。
DBCFモジュールは、レーダーからのダイナミックキューをローカルなクロスアテンションメカニズムに統合し、モダリティ間のコンテキスト情報の伝搬を可能にする。
一方、この損失関数は、トレーニング中の信頼できないレーダーデータの悪影響を軽減し、特に動的前景領域において、両方のモードからのシーンフロー予測におけるインスタンスレベルの整合性を高める。
本手法が既存のLiDAR法やレーダ方式の単一モード法よりも有意なマージンで優れていることを示すために,再使用シーンフローデータセットの大規模な実験を行った。
関連論文リスト
- CORENet: Cross-Modal 4D Radar Denoising Network with LiDAR Supervision for Autonomous Driving [6.251434533663502]
4Dレーダーによる物体検出は、悪天候下での頑丈さに大きな注目を集めている。
4次元レーダーポイント雲のスパースでノイズの多い性質は、効果的な知覚に重大な課題をもたらす。
我々は、LiDAR監視を利用してノイズパターンを識別する新しいクロスモーダル・デノナイズ・フレームワークであるCORENetを提案する。
論文 参考訳(メタデータ) (2025-08-19T03:30:21Z) - Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。
提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。
本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文 参考訳(メタデータ) (2024-05-07T20:44:48Z) - Diffusion-Based Point Cloud Super-Resolution for mmWave Radar Data [8.552647576661174]
ミリ波レーダセンサは、環境条件下では安定した性能を維持している。
レーダー点雲は比較的希薄で、巨大なゴーストポイントを含んでいる。
本稿では3次元ミリ波レーダデータに対する新しい点雲超解像法,Radar-diffusionを提案する。
論文 参考訳(メタデータ) (2024-04-09T04:41:05Z) - RadarDistill: Boosting Radar-based Object Detection Performance via Knowledge Distillation from LiDAR Features [15.686167262542297]
RadarDistillは、LiDARデータを利用してレーダデータの表現を改善する知識蒸留(KD)手法である。
RadarDistillは、3つのキーコンポーネントを使用してLiDAR特徴の望ましい特徴をレーダー特徴に伝達することに成功した。
nuScenesデータセットの比較分析により、RadarDistillは、レーダのみのオブジェクト検出タスクに対して、最先端(SOTA)性能を達成することを示した。
論文 参考訳(メタデータ) (2024-03-08T05:15:48Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳(メタデータ) (2023-07-31T09:53:50Z) - Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object
Detection [78.59426158981108]
この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。
我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2023-06-02T10:57:41Z) - Self-Supervised Scene Flow Estimation with 4D Automotive Radar [7.3287286038702035]
4Dレーダーからのシーンフローを推定する方法はほとんど分かっていない。
LiDARの点雲と比較すると、レーダーデータは大幅に小さく、ノイズが高く、解像度もはるかに低い。
本研究の目的は,4次元レーダポイント雲からのシーンフローを,自己教師付き学習を利用して推定することである。
論文 参考訳(メタデータ) (2022-03-02T14:28:12Z) - LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar
Fusion [52.59664614744447]
本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。
自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
論文 参考訳(メタデータ) (2020-10-02T00:13:00Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳(メタデータ) (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。