論文の概要: CRISP: A Spatiotemporal Camera-Radar Backbone for Driving via Forecasting-Based World-Model Pretraining

• arxiv url: http://arxiv.org/abs/2607.04541v1
• Date: Sun, 05 Jul 2026 23:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.975528
• Title: CRISP: A Spatiotemporal Camera-Radar Backbone for Driving via Forecasting-Based World-Model Pretraining
• Title（参考訳）: CRISP: 予測に基づくワールドモデル事前トレーニングによる運転のための時空間カメラレーダーバックボーン
• Abstract要約: CRISPは予測に基づく表現学習によって事前訓練されたバックボーンCRである。 将来のLiDAR点雲を予測することにより、鳥眼ビュー(BEV)の統一表現を学習する。 予測に基づく事前訓練をCR融合に有効にするため、CRISPは改良されたレーダーエンコーダ、レーダー強化時間自己アテンション、マルチモーダル特徴レンダリングを導入している。 実験によると、CRISPは3D検出、トラッキング、オンラインマッピング、モーション予測、将来の占有予測、計画など、下流タスクに効果的に移行し、長期のクラウド予測を改善する。
• 参考スコア（独自算出の注目度）: 13.153192661998517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Camera-radar (CR) fusion is a practical sensing configuration for autonomous driving, but existing models are typically trained with task-specific supervision, limiting reusable representation learning. We present CRISP, a spatiotemporal CR backbone pretrained through forecasting-based representation learning. Given historical multi-view images and radar sweeps, CRISP learns a unified bird's-eye-view (BEV) representation by predicting future LiDAR point clouds. LiDAR is used only as privileged supervision during pretraining; the deployed model requires only camera and radar. To make forecasting-based pretraining effective for CR fusion, CRISP introduces an enhanced radar encoder, radar-enhanced temporal self-attention, and multimodal feature rendering with modality innovation gating. These components inject radar range and Doppler cues into BEV temporal propagation and allow BEV tokens to selectively incorporate camera and radar evidence. Experiments on nuScenes show that CRISP improves long-horizon point cloud forecasting and transfers effectively to downstream tasks, including 3D detection, tracking, online mapping, motion forecasting, future occupancy prediction, and planning, suggesting that predictive CR pretraining is a promising path toward scalable driving representations under practical sensor configurations. The project website is https://umfieldrobotics.github.io/CRISP.
• Abstract（参考訳）: カメラレーダー(CR)融合は、自律運転のための実用的なセンシング構成であるが、既存のモデルは、通常、タスク固有の監督で訓練され、再利用可能な表現学習を制限する。 予測に基づく表現学習により事前学習した時空間CRバックボーンCRISPを提案する。 歴史的多視点画像とレーダスイープにより、CRISPは将来のLiDAR点雲を予測することにより、鳥眼ビュー(BEV)の統一表現を学習する。 LiDARは予備訓練中にのみ特権的な監視として使用され、配備されたモデルはカメラとレーダーのみを必要とする。 予測に基づく事前訓練をCR融合に有効にするため、CRISPは改良されたレーダーエンコーダ、レーダー強化時間自己アテンション、モダリティ革新ゲーティングによるマルチモーダル特徴レンダリングを導入している。 これらのコンポーネントはレーダーレンジとドップラーキューをBEV時間伝播に注入し、BEVトークンにカメラとレーダーの証拠を選択的に組み込むことができる。 nuScenesの実験では、CRISPは3D検出、トラッキング、オンラインマッピング、モーション予測、将来の占有予測、計画といった下流タスクに効果的に予測と転送を改善し、実用的なセンサー構成下でのスケーラブルな駆動表現への予測的CR事前学習が有望な道であることを示唆している。 プロジェクトのWebサイトはhttps://umfieldrobotics.github.io/CRISP。

関連論文リスト

• RLG-TPV: Radar- and LiDAR-Guided Tri-Perspective View Fusion for Camera-Radar 3D Object Detection [0.0]
  Tri-Perspective View (TPV) 表現は、上部、側面、前面の特徴面を通しての3Dシーン構造を記述する。 レーダとトレーニングタイムのLiDARが相補的な幾何学的ガイダンスを提供するカメラレーダ3Dオブジェクト検出のためのフレームワークであるRCG-TPVを提案する。
  論文  参考訳（メタデータ） (2026-08-29T11:08:11Z)
• IRGNN: Efficient Invariant Radar Graph Neural Network for Radar Point Cloud Object Detection [6.250476866823555]
  レーダポイントクラウドオブジェクト検出のための不変レーダグラフニューラルネットワークIRGNNを提案する。 IRGNNはまず、変換および回転不変の特徴設計を用いてレーダポイント雲をグラフ表現に再構成する。 その後、改善されたメッセージパッシングニューラルネットワーク(MPNN)と、ローカルな特徴伝搬とグローバルなコンテキストモデリングを強化するために、仮想ノード層を使用する。
  論文  参考訳（メタデータ） (2026-08-14T15:35:06Z)
• RadarTwin: Scene-Specific mmWave Radar Simulation and Learning for Mobile Indoor Perception [2.0255467447384015]
  RadarTwinは、実際のデータ収集の前にデプロイメント固有のレーダートレーニングデータを生成するためのフレームワークである。 シミュレーションと実レーダは同じ物体識別形状と材料特性を共有していることを示す。 シミュレーションだけで訓練された表現は、実際のレーダーラベルのない2.5倍の確率で実際の物体を認識し、いくつかのラベル付き例では、これを12方向の認識タスクで95.3%に引き上げている。
  論文  参考訳（メタデータ） (2026-06-24T05:50:26Z)
• RadarSim: Simulating Single-Chip Radar via Multimodal Neural Fields [49.41438378775056]
  レーダーはカメラの理想的な補完であり、カメラは細かな角分解能を提供し、レーダーは悪天候下でメートル法的な深さと頑丈さを提供する。 RadarSimはレーダーのみの再構築よりもシャープな幾何学とドップラーレンジフレームを生成する。
  論文  参考訳（メタデータ） (2026-05-25T21:03:40Z)
• RadarGen: Automotive Radar Point Cloud Generation from Cameras [64.69976771710057]
  マルチビューカメラ画像からリアルな自動車用レーダー点雲を合成するための拡散モデルRadarGenを提案する。 RadarGenは、鳥の目視でレーダー計測を表現することで、レーダ領域への効率的な画像遅延拡散を適応する。 本稿では,RadarGenが特徴的レーダ計測分布を捕捉し,実データに基づいて学習した知覚モデルとのギャップを小さくすることを示す。
  論文  参考訳（メタデータ） (2025-12-19T18:57:33Z)
• RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection [68.99784784185019]
  暗い照明や悪天候はカメラの性能を低下させる。 レーダーは騒音と位置のあいまいさに悩まされる。 本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
  論文  参考訳（メタデータ） (2025-02-18T17:17:38Z)
• RadarOcc: Robust 3D Occupancy Prediction with 4D Imaging Radar [15.776076554141687]
  3D占有に基づく知覚パイプラインは、かなり進歩した自律運転を持つ。 現在の方法では、LiDARやカメラの入力を3D占有率予測に頼っている。 本稿では,4次元イメージングレーダセンサを用いた3次元占有予測手法を提案する。
  論文  参考訳（メタデータ） (2024-05-22T21:48:17Z)
• Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
  本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。 提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。 本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-07T20:44:48Z)
• Semantic Segmentation of Radar Detections using Convolutions on Point Clouds [59.45414406974091]
  本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。 このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。 我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-05-22T07:09:35Z)
• R4Dyn: Exploring Radar for Self-Supervised Monocular Depth Estimation of Dynamic Scenes [69.6715406227469]
  駆動シナリオにおける自己教師付き単眼深度推定は、教師付きアプローチに匹敵する性能を達成した。 本稿では,自己監督型深度推定フレームワーク上に費用効率の高いレーダデータを利用する新しい手法であるR4Dynを提案する。
  論文  参考訳（メタデータ） (2021-08-10T17:57:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。