論文の概要: Radar4D-VLM: Proposal-Grounded Temporal 4D Radar Reasoning Across Frozen Language Models
- arxiv url: http://arxiv.org/abs/2608.04130v1
- Date: Tue, 04 Aug 2026 18:32:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.580701
- Title: Radar4D-VLM: Proposal-Grounded Temporal 4D Radar Reasoning Across Frozen Language Models
- Title（参考訳）: Radar4D-VLM:凍結言語モデル全体での時間的4次元レーダ推論の提案
- Abstract要約: 本稿では、自律走行のためのレーダのみの時間視覚言語モデルであるRadar4D-VLMを紹介する。
Radar4D-VLMは、幾何学的に接地されたオブジェクトの提案を抽出し、レーダー証拠をオブジェクト、シーン、キネマティックトークンのコンパクトな階層に整理する。
シーケンシャルに分離されたK-Radar開発検証では、トップ64の提案リコールは98.13%に達し、それぞれ6.40ポイントと22.83ポイントの固定格子と一様ランダム制御を超えた。
- 参考スコア（独自算出の注目度）: 11.640975138247557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models for autonomous driving primarily rely on cameras and LiDAR, leaving 4D radar largely unexplored as a standalone perceptual modality despite its robustness to adverse visibility and direct measurement of radial velocity. We introduce Radar4D-VLM, a radar-only temporal vision-language model that reasons from ten consecutive 4D-radar point-cloud sweeps without camera or LiDAR input. Radar4D-VLM extracts geometrically grounded object proposals and organizes radar evidence into a compact hierarchy of object, scene, and kinematic tokens. A parameter-efficient projector maps these tokens into frozen language backbones, while auditable prediction heads jointly model object count, spatial distribution, motion state, collision risk, semantic category, and radial velocity. Radar4D-VLM combines proposal-grounded temporal object tokenization, global scene context, and explicit kinematic tokens within a unified frozen-backbone interface. On sequence-isolated K-Radar development validation, its Top-64 proposal recall reaches 98.13% at 4 m, exceeding fixed-lattice and uniform-random controls by 6.40 and 22.83 percentage points, respectively. We further evaluate 24 matched runs spanning eight frozen Qwen, Phi, Mistral, Llama, and Gemma backbones under an identical adaptation budget. The radar-token interface remains compatible across all five language-model families, while matched aligned, permuted, and no-language controls show sensor dependence but no stable direct-head gain from aligned language supervision. These results establish a reproducible foundation for radar-only multimodal scene and motion reasoning while separating interface compatibility from the benefit of language supervision.
- Abstract（参考訳）: 自律運転のための視覚言語モデルは、主にカメラとLiDARに依存しており、4Dレーダーは、視線速度の視認性や直接測定に頑健さがあるにもかかわらず、独立した知覚モダリティとして探索されていない。
Radar4D-VLMはレーダーのみの時間視覚言語モデルで、カメラやLiDARを使わずに10連続する4Dレーダーポイントクラウドスイープから導かれる。
Radar4D-VLMは、幾何学的に接地されたオブジェクトの提案を抽出し、レーダー証拠をオブジェクト、シーン、キネマティックトークンのコンパクトな階層に整理する。
パラメータ効率の良いプロジェクタは、これらのトークンを凍結した言語バックボーンにマッピングする一方、監査可能な予測ヘッドは、オブジェクト数、空間分布、運動状態、衝突リスク、セマンティックカテゴリ、放射速度を共同でモデル化する。
Radar4D-VLMは、提案された時間的オブジェクトトークン化、グローバルシーンコンテキスト、および統合されたフリーズバックボーンインターフェース内での明示的なキネマティックトークンを組み合わせる。
シーケンシャルに分離されたK-Radar開発検証では、トップ64の提案リコールは98.13%に達し、それぞれ6.40ポイントと22.83ポイントの固定格子と一様ランダム制御を超えた。
さらに、同じ適応予算の下で、凍結した8つのQwen、Phi、Mistral、Llama、Gemmaのバックボーンにまたがる24個のマッチしたランを評価した。
レーダツーケンインタフェースは、5つの言語モデルファミリで互換性が保たれているが、整列、置換、および非言語コントロールは、センサー依存を示すが、整列された言語監視による安定した直接的利得は得られない。
これらの結果から,レーダのみのマルチモーダルシーンと動作推論のための再現可能な基盤を確立し,インタフェースの互換性と言語指導の利点を分離した。
関連論文リスト
- Stereo 4D Radar for 3D Object Detection: Integrating Geometric Alignment and Absolute Velocity Estimation [5.109810774427172]
ルー4Dレーダー信号は、路面やガードレール、周囲の車両からの散乱や、マルチパスで誘導されるゴースト反射、受信機固有のノイズフロアを含む。
左右のレーダ間の幾何学的相違を利用して物体の絶対速度を推定するステレオ4次元レーダに基づく3次元物体検出フレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-02T13:13:08Z) - RbFT-Net: Rectify-Before-Fuse Temporal Radar Anchors for 4D Radar-Camera Depth Completion [20.340336916195053]
レーダー測定は本質的にスパースであり、乱れ、マルチパス反射、投射誤差の影響を受けやすい。
RbFT-Netは,マルチフレーム4次元レーダカメラの深度補正のためのエンドツーエンドフレームワークである。
ZJU-4DRadarCamと新たに収集された4Dレーダーカメラ-LiDARデータセットの実験は、RbFT-Netが独立レーダーカメラ法より一貫して優れていることを示している。
論文 参考訳（メタデータ） (2026-08-13T11:26:46Z) - 4DR360: State Reasoning for Joint 3D Detection and Occupancy Prediction in 4D Radar-Camera Full-Scene Perception [12.807651354967183]
信頼性の高い自律運転には、密集したセマンティックレイアウトで前景オブジェクトを結合するフルシーンの認識が必要である。
永続的なシーン状態としての意味的占有をモデル化した,360ドル前後のフルシーン知覚のための4次元レーダカメラフレームワークを提案する。
我々は、ManTruckScenesを衛星マップベースで生成された占有ラベルで拡張し、OmniHD-Scenesと組み合わせて、クロスデータセット検出・占有プロトコルを統一する。
論文 参考訳（メタデータ） (2026-07-10T17:26:19Z) - LLM-Empowered Multimodal Fusion Framework for Autonomous Driving: Semantic Enhancement and Channel-Adaptive Design [56.76240343283953]
本稿では,大規模言語モデル中心のセマンティック・レイヤ・チャネル・アウェア・インテグレート・パーセプション・フレームワークを提案する。
ローカルな視覚ストリームと、知覚盲点をカバーするために使用される品質の変化した外部レーダーストリームを融合させる。
nuScenesとVIRATの実験は、我々のアプローチを検証する。
論文 参考訳（メタデータ） (2026-07-02T06:44:02Z) - RadarGen: Automotive Radar Point Cloud Generation from Cameras [64.69976771710057]
マルチビューカメラ画像からリアルな自動車用レーダー点雲を合成するための拡散モデルRadarGenを提案する。
RadarGenは、鳥の目視でレーダー計測を表現することで、レーダ領域への効率的な画像遅延拡散を適応する。
本稿では,RadarGenが特徴的レーダ計測分布を捕捉し,実データに基づいて学習した知覚モデルとのギャップを小さくすることを示す。
論文 参考訳（メタデータ） (2025-12-19T18:57:33Z) - ELMAR: Enhancing LiDAR Detection with 4D Radar Motion Awareness and Cross-modal Uncertainty [3.1212590312985986]
本稿では,4次元レーダの動作状態とモード間不確実性により強化されたLiDAR検出フレームワークを提案する。
運転回廊内でのmAPは74.89%, 運転回廊内88.70%であった。
論文 参考訳（メタデータ） (2025-06-22T09:28:14Z) - MoRAL: Motion-aware Multi-Frame 4D Radar and LiDAR Fusion for Robust 3D Object Detection [4.765283090183714]
MoRALはモーション対応のマルチフレーム4Dレーダーと、堅牢な3Dオブジェクト検出のためのLiDAR融合フレームワークである。
第一に、MRE(Motion-Aware Radar)は、移動物体からのフレーム間レーダーのミスアライメントを補うように設計されている。
第二に、Motion Attention Gated Fusion (MAGF)モジュールはレーダーモーション機能を統合してLiDAR機能を誘導し、動的フォアグラウンドオブジェクトにフォーカスする。
論文 参考訳（メタデータ） (2025-05-14T14:23:33Z) - RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection [68.99784784185019]
暗い照明や悪天候はカメラの性能を低下させる。
レーダーは騒音と位置のあいまいさに悩まされる。
本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
論文 参考訳（メタデータ） (2025-02-18T17:17:38Z) - V2X-Radar: A Multi-modal Dataset with 4D Radar for Cooperative Perception [61.58737390490639]
V2X-Radarは、4Dレーダを特徴とする世界初の大規模実世界のマルチモーダルデータセットである。
データセットは20KのLiDARフレーム、40Kのカメライメージ、350Kの注釈付きボックスを含む20Kの4Dレーダデータで構成されている。
様々な研究領域をサポートするために, 協調認識のためのV2X-Radar-C, 路面認識のためのV2X-Radar-I, 単車知覚のためのV2X-Radar-Vを確立した。
論文 参考訳（メタデータ） (2024-11-17T04:59:00Z) - V2X-R: Cooperative LiDAR-4D Radar Fusion with Denoising Diffusion for 3D Object Detection [64.93675471780209]
我々は、LiDAR、カメラ、および4Dレーダを取り入れた初のシミュレーションV2XデータセットであるV2X-Rを提案する。
V2X-Rには12,079のシナリオがあり、LiDARと4Dレーダーポイント雲の37,727フレーム、150,908の画像、170,859の注釈付き3D車両バウンディングボックスがある。
本稿では,3次元物体検出のための新しいコラボレーティブLiDAR-4Dレーダ融合パイプラインを提案し,様々な融合戦略を用いて実装する。
論文 参考訳（メタデータ） (2024-11-13T07:41:47Z) - RadarOcc: Robust 3D Occupancy Prediction with 4D Imaging Radar [15.776076554141687]
3D占有に基づく知覚パイプラインは、かなり進歩した自律運転を持つ。
現在の方法では、LiDARやカメラの入力を3D占有率予測に頼っている。
本稿では,4次元イメージングレーダセンサを用いた3次元占有予測手法を提案する。
論文 参考訳（メタデータ） (2024-05-22T21:48:17Z) - R4Dyn: Exploring Radar for Self-Supervised Monocular Depth Estimation of
Dynamic Scenes [69.6715406227469]
駆動シナリオにおける自己教師付き単眼深度推定は、教師付きアプローチに匹敵する性能を達成した。
本稿では,自己監督型深度推定フレームワーク上に費用効率の高いレーダデータを利用する新しい手法であるR4Dynを提案する。
論文 参考訳（メタデータ） (2021-08-10T17:57:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。