論文の概要: TiGDistill-BEV: Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning Distillation

• arxiv url: http://arxiv.org/abs/2412.20911v1
• Date: Mon, 30 Dec 2024 12:44:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:02.110752
• Title: TiGDistill-BEV: Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning Distillation
• Title（参考訳）: TiGDistill-BEV:ターゲット内形状学習蒸留による多視点BEV3D物体検出
• Authors: Shaoqing Xu, Fang Li, Peixiang Huang, Ziying Song, Zhi-Xin Yang,
• Abstract要約: TiGDistill-BEVは、LiDARとカメラデータ表現のギャップを埋める新しいアプローチである。 本手法は,教師モデルとしての多様なモダリティから,カメラを用いた学生検出器への知識を抽出する。 nuScenesベンチマークの実験では、TiGDistill-BEVは62.8%のNDSを持つ最先端技術を達成するためのカメラベースの検出器のみを著しく向上させることを示した。
• 参考スコア（独自算出の注目度）: 6.34398347558641
• License:
• Abstract: Accurate multi-view 3D object detection is essential for applications such as autonomous driving. Researchers have consistently aimed to leverage LiDAR's precise spatial information to enhance camera-based detectors through methods like depth supervision and bird-eye-view (BEV) feature distillation. However, existing approaches often face challenges due to the inherent differences between LiDAR and camera data representations. In this paper, we introduce the TiGDistill-BEV, a novel approach that effectively bridges this gap by leveraging the strengths of both sensors. Our method distills knowledge from diverse modalities(e.g., LiDAR) as the teacher model to a camera-based student detector, utilizing the Target Inner-Geometry learning scheme to enhance camera-based BEV detectors through both depth and BEV features by leveraging diverse modalities. Specially, we propose two key modules: an inner-depth supervision module to learn the low-level relative depth relations within objects which equips detectors with a deeper understanding of object-level spatial structures, and an inner-feature BEV distillation module to transfer high-level semantics of different key points within foreground targets. To further alleviate the domain gap, we incorporate both inter-channel and inter-keypoint distillation to model feature similarity. Extensive experiments on the nuScenes benchmark demonstrate that TiGDistill-BEV significantly boosts camera-based only detectors achieving a state-of-the-art with 62.8% NDS and surpassing previous methods by a significant margin. The codes is available at: https://github.com/Public-BOTs/TiGDistill-BEV.git.
• Abstract（参考訳）: 自律運転のようなアプリケーションには、正確なマルチビュー3Dオブジェクト検出が不可欠である。 研究者たちは一貫して、LiDARの正確な空間情報を活用して、深度監視や鳥眼視(Bird-eye-view, BEV)機能蒸留といった方法でカメラベースの検出器を強化することを目指している。 しかし、既存のアプローチは、LiDARとカメラデータの表現に固有の違いがあるため、しばしば課題に直面している。 本稿では,両センサの強度を利用して,このギャップを効果的に橋渡しするTiGDistill-BEVを提案する。 本手法は, 教師モデルとしての多様なモダリティ(例えばLiDAR)から, 様々なモダリティを活用することで, 奥行き・BEV特性の両面から, カメラベースのBEV検出器を強化するために, カメラを用いたインナージオメトリー学習手法を用いて, カメラベースの学生検出器の知識を抽出する。 具体的には、物体の空間構造を深く理解した検出器を装備する物体内の低レベル相対深度関係を学習する内層監視モジュールと、前景の異なるキーポイントの高レベル意味を伝達する内層BEV蒸留モジュールの2つを提案する。 ドメインギャップをさらに緩和するために,チャネル間蒸留とキーポイント間蒸留を併用して特徴類似性をモデル化する。 nuScenesベンチマークの大規模な実験は、TiGDistill-BEVが62.8%の最先端のNDSを達成し、以前の手法をかなり上回る、カメラベースの検出器のみを著しく向上させることを示した。 コードはhttps://github.com/Public-BOTs/TiGDistill-BEV.gitで公開されている。

関連論文リスト

• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• VirtualPainting: Addressing Sparsity with Virtual Points and Distance-Aware Data Augmentation for 3D Object Detection [3.5259183508202976]
  本稿では,カメラ画像を用いた仮想LiDAR点の生成を含む革新的なアプローチを提案する。 また、画像ベースセグメンテーションネットワークから得られる意味ラベルを用いて、これらの仮想点を強化する。 このアプローチは、様々な3Dフレームワークと2Dセマンティックセグメンテーションメソッドにシームレスに統合できる汎用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-12-26T18:03:05Z)
• Instance-aware Multi-Camera 3D Object Detection with Structural Priors Mining and Self-Boosting Learning [93.71280187657831]
  カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。 画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
  論文  参考訳（メタデータ） (2023-12-13T09:24:42Z)
• DistillBEV: Boosting Multi-Camera 3D Object Detection with Cross-Modal Knowledge Distillation [25.933070263556374]
  自律走行車産業における大量生産に費用対効果があるため, マルチカメラ・バードアイビュー(BEV)から学んだ表現に基づく3次元認識がトレンドとなっている。 マルチカメラのBEVとLiDARベースの3Dオブジェクト検出の間には、明確なパフォーマンスギャップがある。 そこで本研究では,多カメラBEVベースの学生検出器の表現学習を,LiDARベースの教師検出器の特徴を模倣するように訓練することで促進することを提案する。
  論文  参考訳（メタデータ） (2023-09-26T17:56:21Z)
• SimDistill: Simulated Multi-modal Distillation for BEV 3D Object Detection [56.24700754048067]
  多視点カメラによる3Dオブジェクト検出は低コストで普及しているが、カメラデータのみから正確に3D形状を推定することは依然として困難である。 モデルアーキテクチャと蒸留戦略を慎重に構築し,シミュレートされたマルチモーダル蒸留(SimDistill)法を提案する。 我々のSimDistillは、コスト効率のよいカメラのみの配置を維持しながら、3Dオブジェクト検出のためのより良い特徴表現を学習することができる。
  論文  参考訳（メタデータ） (2023-03-29T16:08:59Z)
• OA-BEV: Bringing Object Awareness to Bird's-Eye-View Representation for Multi-Camera 3D Object Detection [78.38062015443195]
  OA-BEVは、BEVベースの3Dオブジェクト検出フレームワークにプラグインできるネットワークである。 提案手法は,BEV ベースラインに対する平均精度と nuScenes 検出スコアの両面で一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-13T06:02:31Z)
• TiG-BEV: Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning [7.6887888234987125]
  本稿では,LiDARモダリティからカメラベースBEV検出器へのターゲット内形状の学習手法を提案する。 TiG-BEVは、BEVDepthを+2.3% NDS、+2.4% mAP、BEVDetを+9.1% NDS、+10.3% mAPで効果的に増強することができる。
  論文  参考訳（メタデータ） (2022-12-28T17:53:43Z)
• BEV-LGKD: A Unified LiDAR-Guided Knowledge Distillation Framework for BEV 3D Object Detection [40.45938603642747]
  BEV-LGKD という統合フレームワークを提案する。 我々の手法は、RGBモデル間のKDを誘導するためにLiDARポイントのみを使用する。
  論文  参考訳（メタデータ） (2022-12-01T16:17:39Z)
• BEVDistill: Cross-Modal BEV Distillation for Multi-View 3D Object Detection [17.526914782562528]
  複数の画像ビューから3Dオブジェクトを検出することは、視覚的なシーン理解にとって難しい課題である。 マルチビュー3Dオブジェクト検出のためのクロスモーダルなBEV知識蒸留フレームワークである textbfBEVDistill を提案する。 我々の最良のモデルは、nuScenesテストリーダーボード上で59.4 NDSを達成し、様々な画像ベース検出器と比較して新しい最先端技術を達成する。
  論文  参考訳（メタデータ） (2022-11-17T07:26:14Z)
• A Simple Baseline for Multi-Camera 3D Object Detection [94.63944826540491]
  周囲のカメラで3Dオブジェクトを検出することは、自動運転にとって有望な方向だ。 マルチカメラオブジェクト検出のための簡易ベースラインであるSimMODを提案する。 我々は, nuScenes の3次元オブジェクト検出ベンチマークにおいて, SimMOD の有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-08-22T03:38:01Z)
• Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
  本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。 このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。 nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T01:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。