論文の概要: Weather-Robust Scene Semantics with Vision-Aligned 4D Radar
- arxiv url: http://arxiv.org/abs/2605.07367v1
- Date: Fri, 08 May 2026 07:24:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.884026
- Title: Weather-Robust Scene Semantics with Vision-Aligned 4D Radar
- Title(参考訳): 視覚に適応した4次元レーダを用いた風工学的シーンセマンティックス
- Authors: Kali Hamilton, Christoffer Heckman,
- Abstract要約: カメラとLiDARは雨、霧、雪で劣化するが、ミリ波レーダーは影響を受けていない。
我々は、レーダエンコーダを凍結したSigLIP視覚埋め込みと整列し、凍結した視覚言語モデルにより構造化されたシーンキャプションをデコードする。
K-RADARには霧、軽い雪、重い雪のシーケンスがあり、全てのレーダー構成はカメラベースラインを上回り、90%以上の幻覚に崩壊する。
- 参考スコア(独自算出の注目度): 1.969311410417162
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cameras and LiDAR degrade in rain, fog, and snow, while millimeter-wave radar remains largely unaffected. We align a radar encoder to frozen SigLIP vision embeddings and decode structured scene captions through a frozen vision-language model (VLM) with approximately 7M trainable parameters. On K-RADAR with held-out fog, light snow, and heavy snow sequences, all radar configurations outperform a camera baseline that collapses to over 90% hallucination. We identify a token-norm mismatch as the dominant failure mode when bridging radar to a frozen VLM and show that projector-output LayerNorm resolves it. Analysis of encoder complexity, caption format, and pooling strategy reveals tradeoffs that inform future radar-VLM pipeline design.
- Abstract(参考訳): カメラとLiDARは雨、霧、雪で劣化するが、ミリ波レーダーは影響を受けていない。
我々は,レーダーエンコーダを冷凍SigLIP視覚埋め込みに整列し,約7Mのトレーニングパラメータを持つ凍結視覚言語モデル(VLM)を用いて構造化シーンキャプションをデコードする。
K-RADARには霧、軽い雪、重い雪のシーケンスがあり、全てのレーダー構成はカメラベースラインを上回り、90%以上の幻覚に崩壊する。
凍結したVLMにレーダをブリッジする際,トークンノームミスマッチを支配的障害モードとみなし,プロジェクタ出力のLayerNormがそれを解消することを示す。
エンコーダの複雑さ、キャプションフォーマット、プール戦略の分析により、将来のレーダーVLMパイプライン設計を知らせるトレードオフが明らかになる。
関連論文リスト
- HyperDet: 3D Object Detection with Hyper 4D Radar Point Clouds [7.899148878601621]
検出器に依存しないレーダーのみの3D検出フレームワークであるHyperDetを提案する。
標準的なLiDAR指向検出器のためのタスク対応のハイパー4Dレーダーポイントクラウドを構築している。
MAN TruckScenesでは、HyperDetはVoxelNeXtとCenterPointによる生のレーダー入力よりも一貫して改善されている。
論文 参考訳(メタデータ) (2026-02-12T04:21:58Z) - RadarEye: Robust Liquid Level Tracking Using mmWave Radar in Robotic Pouring [4.023217125139733]
RadarEyeは、液体レベルの推定と追跡のためのリアルタイムmmWaveレーダ信号処理パイプラインである。
RadarEyeは0.35cmの絶対高度誤差を1回の更新あたり0.62msで達成し、視力と超音波のベースラインを大きく上回っている。
論文 参考訳(メタデータ) (2026-02-11T01:57:13Z) - RadarGen: Automotive Radar Point Cloud Generation from Cameras [64.69976771710057]
マルチビューカメラ画像からリアルな自動車用レーダー点雲を合成するための拡散モデルRadarGenを提案する。
RadarGenは、鳥の目視でレーダー計測を表現することで、レーダ領域への効率的な画像遅延拡散を適応する。
本稿では,RadarGenが特徴的レーダ計測分布を捕捉し,実データに基づいて学習した知覚モデルとのギャップを小さくすることを示す。
論文 参考訳(メタデータ) (2025-12-19T18:57:33Z) - RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection [68.99784784185019]
暗い照明や悪天候はカメラの性能を低下させる。
レーダーは騒音と位置のあいまいさに悩まされる。
本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
論文 参考訳(メタデータ) (2025-02-18T17:17:38Z) - A Resource Efficient Fusion Network for Object Detection in Bird's-Eye View using Camera and Raw Radar Data [7.2508100569856975]
レーダデータの生のレンジ・ドップラースペクトルを用いてカメラ画像を処理する。
カメラエンコーダデコーダアーキテクチャを用いて,対応する特徴を抽出する。
得られた特徴写像はレンジ・アジマス特徴と融合し、RDスペクトルから復元して物体検出を行う。
論文 参考訳(メタデータ) (2024-11-20T13:26:13Z) - V2X-R: Cooperative LiDAR-4D Radar Fusion with Denoising Diffusion for 3D Object Detection [64.93675471780209]
我々は、LiDAR、カメラ、および4Dレーダを取り入れた初のシミュレーションV2XデータセットであるV2X-Rを提案する。
V2X-Rには12,079のシナリオがあり、LiDARと4Dレーダーポイント雲の37,727フレーム、150,908の画像、170,859の注釈付き3D車両バウンディングボックスがある。
本稿では,3次元物体検出のための新しいコラボレーティブLiDAR-4Dレーダ融合パイプラインを提案し,様々な融合戦略を用いて実装する。
論文 参考訳(メタデータ) (2024-11-13T07:41:47Z) - Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。
提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。
本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文 参考訳(メタデータ) (2024-05-07T20:44:48Z) - Bootstrapping Autonomous Driving Radars with Self-Supervised Learning [13.13679517730015]
レーダモデルの訓練は、大規模レーダデータの注釈付けのコストと難しさによって妨げられている。
本研究では,未ラベルのレーダデータを事前学習型レーダのみの埋め込みに活用して,自律型認識タスクを実現するための自己教師型学習フレームワークを提案する。
下流オブジェクト検出に使用する場合、提案するセルフスーパービジョンフレームワークが、最先端の教師付きベースラインの精度をmAPで5.8%向上できることを実証する。
論文 参考訳(メタデータ) (2023-12-07T18:38:39Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳(メタデータ) (2023-07-31T09:53:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。