論文の概要: MetaOcc: Surround-View 4D Radar and Camera Fusion Framework for 3D Occupancy Prediction with Dual Training Strategies

• arxiv url: http://arxiv.org/abs/2501.15384v1
• Date: Sun, 26 Jan 2025 03:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:59:12.393419
• Title: MetaOcc: Surround-View 4D Radar and Camera Fusion Framework for 3D Occupancy Prediction with Dual Training Strategies
• Title（参考訳）: MetaOcc:Dual Training Strategiesを用いた3次元作業予測のための周囲4Dレーダとカメラフュージョンフレームワーク
• Authors: Long Yang, Lianqing Zheng, Wenjin Ai, Minghao Liu, Sen Li, Qunshu Lin, Shengyu Yan, Jie Bai, Zhixiong Ma, Xichan Zhu,
• Abstract要約: 本稿では,新しいマルチモーダル占有予測フレームワークであるMetaOccを提案する。 我々はまず,スパースレーダ点からの有効3次元特徴抽出のための高さ自己注意モジュールを設計する。 最後に,擬似ラベル生成のためのオープンセットセグメンタと幾何学的制約を利用した半教師付きトレーニング手法を開発した。
• 参考スコア（独自算出の注目度）: 10.662778683303726
• License:
• Abstract: 3D occupancy prediction is crucial for autonomous driving perception. Fusion of 4D radar and camera provides a potential solution of robust occupancy prediction on serve weather with least cost. How to achieve effective multi-modal feature fusion and reduce annotation costs remains significant challenges. In this work, we propose MetaOcc, a novel multi-modal occupancy prediction framework that fuses surround-view cameras and 4D radar for comprehensive environmental perception. We first design a height self-attention module for effective 3D feature extraction from sparse radar points. Then, a local-global fusion mechanism is proposed to adaptively capture modality contributions while handling spatio-temporal misalignments. Temporal alignment and fusion module is employed to further aggregate historical feature. Furthermore, we develop a semi-supervised training procedure leveraging open-set segmentor and geometric constraints for pseudo-label generation, enabling robust perception with limited annotations. Extensive experiments on OmniHD-Scenes dataset demonstrate that MetaOcc achieves state-of-the-art performance, surpassing previous methods by significant margins. Notably, as the first semi-supervised 4D radar and camera fusion-based occupancy prediction approach, MetaOcc maintains 92.5% of the fully-supervised performance while using only 50% of ground truth annotations, establishing a new benchmark for multi-modal 3D occupancy prediction. Code and data are available at https://github.com/LucasYang567/MetaOcc.
• Abstract（参考訳）: 3D占有率予測は、自律運転知覚に不可欠である。 4Dレーダとカメラの融合は、最低コストでサービス気象に関する堅牢な占有率予測の潜在的な解決策を提供する。 効果的なマルチモーダル機能融合の実現とアノテーションコストの削減は,依然として大きな課題である。 本研究では,周囲のカメラと4Dレーダを融合させて総合的な環境認識を実現する,新しいマルチモーダル占有予測フレームワークであるMetaOccを提案する。 我々はまず,スパースレーダ点からの有効3次元特徴抽出のための高さ自己注意モジュールを設計する。 そこで,時空間的不整合を処理しながら適応的にモダリティの寄与を捉えるために,局所的・局所的な融合機構を提案する。 時間的アライメントと融合モジュールは、歴史的特徴をさらに集約するために使用される。 さらに,擬似ラベル生成のためのオープンセットセグメンタと幾何学的制約を利用した半教師付きトレーニング手法を開発し,アノテーションを限定した頑健な認識を可能にする。 OmniHD-Scenesデータセットの大規模な実験は、MetaOccが最先端のパフォーマンスを達成し、従来の手法を大幅に上回っていることを示している。 特に、最初の半教師付き4Dレーダーとカメラフュージョンベースの占有予測アプローチとして、MetaOccは、完全に監督されたパフォーマンスの92.5%を維持しながら、地上の真実のアノテーションの50%しか使用せず、マルチモーダルな3D占有予測のための新しいベンチマークを確立している。 コードとデータはhttps://github.com/LucasYang567/MetaOcc.comで公開されている。

関連論文リスト

• RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection [68.99784784185019]
  暗い照明や悪天候はカメラの性能を低下させる。 レーダーは騒音と位置のあいまいさに悩まされる。 本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
  論文  参考訳（メタデータ） (2025-02-18T17:17:38Z)
• Bayesian Approximation-Based Trajectory Prediction and Tracking with 4D Radar [13.438311878715536]
  3Dマルチオブジェクトトラッキング(MOT)は自動運転車には不可欠だが、LiDARとカメラベースの手法は悪天候下では劣化する。 本研究では,4次元レーダベースMOTフレームワークであるBayes-4DRTrackを提案する。
  論文  参考訳（メタデータ） (2025-02-03T13:49:21Z)
• Doracamom: Joint 3D Detection and Occupancy Prediction with Multi-view 4D Radars and Cameras for Omnidirectional Perception [9.76463525667238]
  マルチビューカメラと4Dレーダを融合した最初のフレームワークであるDoracamomを提案する。 コードとモデルは公開されます。
  論文  参考訳（メタデータ） (2025-01-26T04:24:07Z)
• MSSF: A 4D Radar and Camera Fusion Framework With Multi-Stage Sampling for 3D Object Detection in Autonomous Driving [9.184945917823047]
  本研究では,4次元レーダとカメラを用いた簡易かつ効果的なマルチステージサンプリング・フュージョン(MSSF)ネットワークを提案する。 MSSFは、View-of-Delft(VoD)とTJ4DRadsetデータセットの3D平均精度を7.0%と4.0%改善している。 さらには、VoDデータセット上の古典的なLiDARベースのメソッドを超越している。
  論文  参考訳（メタデータ） (2024-11-22T15:45:23Z)
• ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
  既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。 本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。 私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• ET-Former: Efficient Triplane Deformable Attention for 3D Semantic Scene Completion From Monocular Camera [53.20087549782785]
  本稿では,単一単眼カメラを用いたセマンティックシーン補完のための新しいエンドツーエンドアルゴリズムET-Formerを紹介する。 本手法は,単一のRGB観測からセマンティック占有マップを生成すると同時に,セマンティック予測のための不確実性推定を行う。
  論文  参考訳（メタデータ） (2024-10-14T19:14:49Z)
• RadarOcc: Robust 3D Occupancy Prediction with 4D Imaging Radar [15.776076554141687]
  3D占有に基づく知覚パイプラインは、かなり進歩した自律運転を持つ。 現在の方法では、LiDARやカメラの入力を3D占有率予測に頼っている。 本稿では,4次元イメージングレーダセンサを用いた3次元占有予測手法を提案する。
  論文  参考訳（メタデータ） (2024-05-22T21:48:17Z)
• Unleashing HyDRa: Hybrid Fusion, Depth Consistency and Radar for Unified 3D Perception [5.920946963698008]
  多様な3次元知覚タスクのための新しいカメラレーダ融合アーキテクチャであるHyDRaを紹介する。 我々のハイト・アソシエーション・トランスフォーマー・モジュールは、すでに視界のレーダー機能を利用して、より堅牢で正確な深度予測を行う。 HyDRaは64.2 NDS (+1.8) と58.4 AMOTA (+1.5) のカメラレーダー融合のための新しい最先端技術を実現している。
  論文  参考訳（メタデータ） (2024-03-12T15:28:51Z)
• OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
  本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。 我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。 意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
  論文  参考訳（メタデータ） (2023-12-14T18:58:52Z)
• DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention [50.11672196146829]
  サラウンドビュー画像を用いた3次元物体検出は、自動運転にとって必須の課題である。 マルチビュー画像における3次元オブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するトランスフォーマーベースのフレームワークであるDETR4Dを提案する。
  論文  参考訳（メタデータ） (2022-12-15T14:18:47Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。