論文の概要: SCKD: Semi-Supervised Cross-Modality Knowledge Distillation for 4D Radar Object Detection

• arxiv url: http://arxiv.org/abs/2412.14571v1
• Date: Thu, 19 Dec 2024 06:42:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:40.011456
• Title: SCKD: Semi-Supervised Cross-Modality Knowledge Distillation for 4D Radar Object Detection
• Title（参考訳）: SCKD: 4次元レーダ物体検出のための半改良型クロスモーダル知識蒸留
• Authors: Ruoyu Xu, Zhiyu Xiang, Chenwei Zhang, Hanzhi Zhong, Xijun Zhao, Ruina Dang, Peng Xu, Tianyu Pu, Eryun Liu,
• Abstract要約: 本研究では,4次元レーダを用いた3次元物体検出のためのSCKD法を提案する。 セミ教師付き蒸留によるLidar-Radar融合教師ネットワークから特徴を学習する能力を特徴付ける。 同じネットワーク構造で、SCKDで訓練されたレーダーのみの学生は、ベースライン上でmAPを10.38%向上させる。
• 参考スコア（独自算出の注目度）: 16.127926058992237
• License:
• Abstract: 3D object detection is one of the fundamental perception tasks for autonomous vehicles. Fulfilling such a task with a 4D millimeter-wave radar is very attractive since the sensor is able to acquire 3D point clouds similar to Lidar while maintaining robust measurements under adverse weather. However, due to the high sparsity and noise associated with the radar point clouds, the performance of the existing methods is still much lower than expected. In this paper, we propose a novel Semi-supervised Cross-modality Knowledge Distillation (SCKD) method for 4D radar-based 3D object detection. It characterizes the capability of learning the feature from a Lidar-radar-fused teacher network with semi-supervised distillation. We first propose an adaptive fusion module in the teacher network to boost its performance. Then, two feature distillation modules are designed to facilitate the cross-modality knowledge transfer. Finally, a semi-supervised output distillation is proposed to increase the effectiveness and flexibility of the distillation framework. With the same network structure, our radar-only student trained by SCKD boosts the mAP by 10.38% over the baseline and outperforms the state-of-the-art works on the VoD dataset. The experiment on ZJUODset also shows 5.12% mAP improvements on the moderate difficulty level over the baseline when extra unlabeled data are available. Code is available at https://github.com/Ruoyu-Xu/SCKD.
• Abstract（参考訳）: 3Dオブジェクト検出は、自動運転車の基本的な認識タスクの1つである。 4Dミリ波レーダーでそのようなタスクをフルフィルすることは、センサーが悪天候下で堅牢な測定を維持しながら、ライダーに似た3Dポイントの雲を取得できるので、非常に魅力的である。 しかし,レーダー点雲に付随する密度とノイズのため,既存の手法の性能は期待よりもはるかに低い。 本稿では,4次元レーダを用いた3次元物体検出のための半教師付きクロスモダリティ知識蒸留法を提案する。 セミ教師付き蒸留によるLidar-Radar融合教師ネットワークから特徴を学習する能力を特徴付ける。 まず,教師ネットワークに適応的な融合モジュールを提案し,その性能を向上する。 次に, クロスモーダルな知識伝達を促進するために, 2つの特徴蒸留モジュールを設計する。 最後に, 蒸留フレームワークの有効性と柔軟性を高めるため, 半教師付き出力蒸留を提案する。 同じネットワーク構造で、SCKDによって訓練されたレーダーのみの学生は、ベースライン上でmAPを10.38%向上させ、VoDデータセットの最先端の作業より優れています。 ZJUODsetの実験では、追加のラベル付きデータが利用できる場合、ベースライン上の適度な難易度に対して5.12%のmAP改善が示されている。 コードはhttps://github.com/Ruoyu-Xu/SCKD.comで入手できる。

関連論文リスト

• A Novel Multi-Teacher Knowledge Distillation for Real-Time Object Detection using 4D Radar [5.038148262901536]
  3Dオブジェクト検出は、安全で自律的なナビゲーションに不可欠であり、多様な気象条件にまたがって信頼性の高い性能を必要とする。 従来のレーダーは標高データがないため制限がある。 4Dレーダーは、距離、方位、ドップラー速度とともに高度を測定することでこれを克服し、自動運転車にとって貴重なものとなっている。
  論文  参考訳（メタデータ） (2025-02-10T02:48:56Z)
• MSSF: A 4D Radar and Camera Fusion Framework With Multi-Stage Sampling for 3D Object Detection in Autonomous Driving [9.184945917823047]
  本研究では,4次元レーダとカメラを用いた簡易かつ効果的なマルチステージサンプリング・フュージョン(MSSF)ネットワークを提案する。 MSSFは、View-of-Delft(VoD)とTJ4DRadsetデータセットの3D平均精度を7.0%と4.0%改善している。 さらには、VoDデータセット上の古典的なLiDARベースのメソッドを超越している。
  論文  参考訳（メタデータ） (2024-11-22T15:45:23Z)
• UniBEVFusion: Unified Radar-Vision BEVFusion for 3D Object Detection [2.123197540438989]
  多くのレーダービジョン融合モデルではレーダーを希薄なLiDARとして扱い、レーダー固有の情報を過小評価している。 本稿では,レーダー固有データを深度予測プロセスに統合したRDLモジュールを提案する。 また、異なるモードでBEV機能を抽出するUnified Feature Fusion (UFF)アプローチも導入する。
  論文  参考訳（メタデータ） (2024-09-23T06:57:27Z)
• LEROjD: Lidar Extended Radar-Only Object Detection [0.22870279047711525]
  3+1Dイメージングレーダーセンサーは、ライダーに代わるコスト効率が高く、堅牢な代替手段を提供する。 ライダーは推論中に使用するべきではないが、レーダーのみの物体検出器の訓練を支援することができる。 我々は、ライダーからレーダードメインとレーダー専用物体検出器に知識を伝達する2つの戦略を探求する。
  論文  参考訳（メタデータ） (2024-09-09T12:43:25Z)
• RadarPillars: Efficient Object Detection from 4D Radar Point Clouds [42.9356088038035]
  本稿では,柱型物体検出ネットワークRadarPillarsを提案する。 放射速度データを分解することにより、RadarPillarsは、View-of-Delftデータセットの最先端検出結果を大幅に上回る。 これはパラメータ数を大幅に削減し、既存のメソッドを効率面で上回り、エッジデバイス上でのリアルタイムパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-08-09T12:13:38Z)
• 4D Contrastive Superflows are Dense 3D Representation Learners [62.433137130087445]
  我々は,LiDARとカメラのペアを連続的に利用して事前学習の目的を確立するための,新しいフレームワークであるSuperFlowを紹介する。 学習効率をさらに向上するため,カメラビューから抽出した知識の整合性を高めるプラグイン・アンド・プレイ・ビュー・一貫性モジュールを組み込んだ。
  論文  参考訳（メタデータ） (2024-07-08T17:59:54Z)
• Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
  本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。 このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。 nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T01:44:30Z)
• MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
  本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。 得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。 実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-01-26T09:21:41Z)
• The Devil is in the Task: Exploiting Reciprocal Appearance-Localization Features for Monocular 3D Object Detection [62.1185839286255]
  低コストのモノクル3D物体検出は、自律運転において基本的な役割を果たす。 DFR-Netという動的特徴反射ネットワークを導入する。 我々は、KITTIテストセットの全ての単分子3D物体検出器の中で、第1位にランク付けする。
  論文  参考訳（メタデータ） (2021-12-28T07:31:18Z)
• Anchor-free 3D Single Stage Detector with Mask-Guided Attention for Point Cloud [79.39041453836793]
  我々は、点雲をアンカーフリーで検出する新しい1段3次元検出器を開発した。 ボクセルをベースとしたスパース3D特徴量からスパース2D特徴量マップに変換することでこれを克服する。 検出信頼度スコアとバウンディングボックス回帰の精度との相関性を改善するために,IoUに基づく検出信頼度再校正手法を提案する。
  論文  参考訳（メタデータ） (2021-08-08T13:42:13Z)
• D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features [51.04841465193678]
  私たちは3Dポイントクラウドに3D完全畳み込みネットワークを活用しています。 本稿では,3次元点ごとに検出スコアと記述特徴の両方を密に予測する,新しい,実践的な学習機構を提案する。 本手法は,屋内と屋外の両方のシナリオで最先端の手法を実現する。
  論文  参考訳（メタデータ） (2020-03-06T12:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。