論文の概要: Long-Tailed 3D Detection via Multi-Modal Fusion

• arxiv url: http://arxiv.org/abs/2312.10986v4
• Date: Tue, 24 Sep 2024 00:56:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 09:16:50.130223
• Title: Long-Tailed 3D Detection via Multi-Modal Fusion
• Title（参考訳）: 多モード核融合による長期3次元検出
• Authors: Yechi Ma, Neehar Peri, Shuoquan Wei, Achal Dave, Wei Hua, Yanan Li, Deva Ramanan, Shu Kong,
• Abstract要約: 本研究では,Long-Tailed 3D Detection (LT3D) の問題点について検討した。 単モードLiDARとRGB検出器を独立に訓練した多モード遅延核融合(MMLF)により,レアクラスの精度が特に向上することが指摘されている。 提案するMMLFアプローチは,従来の作業よりもLT3Dの性能を著しく向上させる。
• 参考スコア（独自算出の注目度）: 47.03801888003686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contemporary autonomous vehicle (AV) benchmarks have advanced techniques for training 3D detectors, particularly on large-scale multi-modal (LiDAR + RGB) data. Surprisingly, although semantic class labels naturally follow a long-tailed distribution, existing benchmarks only focus on a few common classes (e.g., pedestrian and car) and neglect many rare but crucial classes (e.g., emergency vehicle and stroller). However, AVs must reliably detect both common and rare classes for safe operation in the open world. We address this challenge by formally studying the problem of Long-Tailed 3D Detection (LT3D), which evaluates all annotated classes, including those in-the-tail. We address LT3D with hierarchical losses that promote feature sharing across classes, and introduce diagnostic metrics that award partial credit to ``reasonable'' mistakes with respect to the semantic hierarchy (e.g., mistaking a child for an adult). Further, we point out that rare-class accuracy is particularly improved via multi-modal late fusion (MMLF) of independently trained uni-modal LiDAR and RGB detectors. Importantly, such an MMLF framework allows us to leverage large-scale uni-modal datasets (with more examples for rare classes) to train better uni-modal detectors, unlike prevailing end-to-end trained multi-modal detectors that require paired multi-modal data. Finally, we examine three critical components of our simple MMLF approach from first principles and investigate whether to train 2D or 3D RGB detectors for fusion, whether to match RGB and LiDAR detections in 3D or the projected 2D image plane, and how to fuse matched detections. Our proposed MMLF approach significantly improves LT3D performance over prior work, particularly improving rare class performance from 12.8 to 20.0 mAP!
• Abstract（参考訳）: 現代の自動運転車(AV)ベンチマークは、特に大規模マルチモーダル(LiDAR + RGB)データにおいて、3D検出器を訓練するための高度な技術を持っている。 驚くべきことに、セマンティッククラスラベルは当然長い尾の分布に従うが、既存のベンチマークはいくつかの一般的なクラス(歩行者や車など)にのみフォーカスし、稀だが重要なクラス(緊急車両やベビーカーなど)を無視している。 しかし、AVは、オープンワールドにおける安全な運用のために、一般的なクラスと稀なクラスの両方を確実に検出する必要がある。 本課題は,Long-Tailed 3D Detection (LT3D) の課題に対処する。 本稿では,クラス間の機能共有を促進する階層的な損失を伴ってLT3Dに対処し,意味的階層(例えば,大人の子供を間違えるなど)に関して,「合理的」な誤りに部分的な信用を与える診断指標を導入する。 さらに,単モードLiDARおよびRGB検出器を独立に訓練した多モード遅延核融合(MMLF)により,レアクラスの精度が特に向上することが指摘された。 重要なことは、このようなMMLFフレームワークは、ペア化されたマルチモーダルデータを必要とするエンドツーエンドの訓練されたマルチモーダル検出器とは異なり、より優れたユニモーダル検出器をトレーニングするために、大規模なユニモーダルデータセット(レアクラスの多くの例を含む)を活用することができます。 最後に, 簡単なMMLFアプローチの3つの重要な要素について, 第一原理から検討し, 核融合のための2Dまたは3D RGB検出器の訓練方法, 3次元のRGBとLiDAR検出の整合性, 投影された2D画像平面の融合方法について検討した。 提案するMMLFアプローチは,従来の作業よりもLT3Dの性能を著しく向上させる。

関連論文リスト

• OV-Uni3DETR: Towards Unified Open-Vocabulary 3D Object Detection via Cycle-Modality Propagation [67.56268991234371]
  OV-Uni3DETRは、様々なシナリオにおける最先端のパフォーマンスを達成し、既存のメソッドを平均6%以上上回っている。 コードと事前訓練されたモデルは、後にリリースされる。
  論文  参考訳（メタデータ） (2024-03-28T17:05:04Z)
• ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection [15.204935788297226]
  ODM3Dフレームワークは、トレーニング中にLiDARドメインの知識を単分子検出器に注入するために、様々なレベルでのクロスモーダルな知識蒸留を必要とする。 既存手法の準最適トレーニングの主要因として,前景の空間空間を同定することにより,LiDAR点に埋め込まれた正確な位置化情報を活用する。 KITTI検証とテストベンチマークの両方で1位にランクインし、教師付きまたは半教師付きである既存のモノクラー手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2023-10-28T07:12:09Z)
• Fully Sparse Fusion for 3D Object Detection [69.32694845027927]
  現在広く使われているマルチモーダル3D検出法は、通常、密度の高いBird-Eye-View特徴マップを使用するLiDARベースの検出器上に構築されている。 完全にスパースなアーキテクチャは、長距離知覚において非常に効率的であるため、注目を集めている。 本稿では,新たに出現するフルスパースアーキテクチャにおいて,画像のモダリティを効果的に活用する方法を検討する。
  論文  参考訳（メタデータ） (2023-04-24T17:57:43Z)
• Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
  ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。 本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
  論文  参考訳（メタデータ） (2023-03-01T15:48:27Z)
• Generalized Few-Shot 3D Object Detection of LiDAR Point Cloud for Autonomous Driving [91.39625612027386]
  我々は,一般的な(ベース)オブジェクトに対して大量のトレーニングデータを持つが,レア(ノーベル)クラスに対してはごく少数のデータしか持たない,一般化された数発の3Dオブジェクト検出という新しいタスクを提案する。 具体的には、画像と点雲の奥行きの違いを分析し、3D LiDARデータセットにおける少数ショット設定の実践的原理を示す。 この課題を解決するために,既存の3次元検出モデルを拡張し,一般的なオブジェクトと稀なオブジェクトの両方を認識するためのインクリメンタルな微調整手法を提案する。
  論文  参考訳（メタデータ） (2023-02-08T07:11:36Z)
• Towards Long-Tailed 3D Detection [56.82185415482943]
  本研究では,Long-Tailed 3D Detection (LT3D) の課題について検討した。 各クラスの平均APは5%改善し,レアクラスのAPは劇的に改善した。
  論文  参考訳（メタデータ） (2022-11-16T06:00:47Z)
• DetMatch: Two Teachers are Better Than One for Joint 2D and 3D Semi-Supervised Object Detection [29.722784254501768]
  DetMatchは、2Dおよび3Dモダリティに関する共同半教師付き学習のための柔軟なフレームワークである。 両方のセンサーで検出された物体を識別することで、パイプラインはよりクリーンで堅牢な擬似ラベルを生成する。 我々はRGB画像のよりリッチなセマンティクスを活用して、誤った3Dクラスの予測を修正し、3Dボックスのローカライズを改善する。
  論文  参考訳（メタデータ） (2022-03-17T17:58:00Z)
• Dense Voxel Fusion for 3D Object Detection [10.717415797194896]
  ボクセル融合 (Voxel Fusion, DVF) は, 多スケール密度ボクセル特徴表現を生成する逐次融合法である。 地上の真理2Dバウンディングボックスラベルを直接トレーニングし、ノイズの多い検出器固有の2D予測を避けます。 提案したマルチモーダルトレーニング戦略は, 誤った2次元予測を用いたトレーニングに比べ, より一般化できることを示す。
  論文  参考訳（メタデータ） (2022-03-02T04:51:31Z)
• CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection [13.986963122264633]
  CLOC(Camera-LiDAR Object Candidates)融合ネットワークを提案する。 CLOCs融合は低複雑さのマルチモーダル核融合フレームワークを提供する。 CLOCは、公式のKITTIリーダーボードにおいて、全ての核融合法の中で最高であることを示す。
  論文  参考訳（メタデータ） (2020-09-02T02:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。