論文の概要: Towards Efficient 3D Object Detection with Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2205.15156v1
• Date: Mon, 30 May 2022 15:02:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 13:23:01.168473
• Title: Towards Efficient 3D Object Detection with Knowledge Distillation
• Title（参考訳）: 知識蒸留による高効率3次元物体検出
• Authors: Jihan Yang, Shaoshuai Shi, Runyu Ding, Zhe Wang, Xiaojuan Qi
• Abstract要約: 効率的な3次元物体検出器開発のための知識蒸留の可能性を探る。 私たちの最高のパフォーマンスモデルは、65.75%$2 mAPHに達し、教師モデルを超え、わずか44%の教師フロップしか必要としない。 私たちの最も効率的なモデルは、NVIDIA A100上で51 FPSで動作します。
• 参考スコア（独自算出の注目度）: 38.89710768280703
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite substantial progress in 3D object detection, advanced 3D detectors often suffer from heavy computation overheads. To this end, we explore the potential of knowledge distillation (KD) for developing efficient 3D object detectors, focusing on popular pillar- and voxel-based detectors.Without well-developed teacher-student pairs, we first study how to obtain student models with good trade offs between accuracy and efficiency from the perspectives of model compression and input resolution reduction. Then, we build a benchmark to assess existing KD methods developed in the 2D domain for 3D object detection upon six well-constructed teacher-student pairs. Further, we propose an improved KD pipeline incorporating an enhanced logit KD method that performs KD on only a few pivotal positions determined by teacher classification response, and a teacher-guided student model initialization to facilitate transferring teacher model's feature extraction ability to students through weight inheritance. Finally, we conduct extensive experiments on the Waymo dataset. Our best performing model achieves $65.75\%$ LEVEL 2 mAPH, surpassing its teacher model and requiring only $44\%$ of teacher flops. Our most efficient model runs 51 FPS on an NVIDIA A100, which is $2.2\times$ faster than PointPillar with even higher accuracy. Code will be available.
• Abstract（参考訳）: 3Dオブジェクト検出の大幅な進歩にもかかわらず、先進的な3D検出器はしばしば計算オーバーヘッドに悩まされる。 そこで本研究では,高効率な3次元物体検出器を開発するための知識蒸留(KD)の可能性を探り,一般的な柱型・ボクセル型検出器に焦点をあてるとともに,モデル圧縮と入力分解能低減の観点から,精度と効率の両立した学生モデルを得る方法について検討する。 そこで我々は,教師と学生のペア6名を対象に,3次元物体検出のための2次元領域で開発された既存のkd手法を評価するベンチマークを構築した。 さらに,教師の分類応答によって決定される少数のピボット位置でのみKDを行う拡張ロジットKD手法と,教師が指導する学生モデルの初期化を取り入れた改良KDパイプラインを提案する。 最後に、Waymoデータセットに関する広範な実験を行う。 我々の最高のパフォーマンスモデルは、LEVEL 2 mAPH$65.75 %を達成し、教師モデルを超え、教師フロップの44 %しか必要としない。 最も効率的なモデルはnvidia a100で51fpsで、pointpillarよりもさらに高い精度で2.2\times$で動作します。 コードは利用可能だ。

関連論文リスト

• Representation Disparity-aware Distillation for 3D Object Detection [44.17712259352281]
  本稿では,表現格差問題に対処する新しい表現格差対応蒸留法を提案する。 RDD は CP-Voxel-S の mAP を nuScenes データセット上で57.1% に引き上げる。
  論文  参考訳（メタデータ） (2023-08-20T16:06:42Z)
• CrossKD: Cross-Head Knowledge Distillation for Object Detection [69.16346256926842]
  知識蒸留(KD)は、コンパクト物体検出器の学習に有効なモデル圧縮技術として検証されている。 そこで本研究では,学生の検知ヘッドの中間的特徴を教師の検知ヘッドに伝達する,CrossKDと呼ばれる蒸留方式を模倣する予測手法を提案する。 われわれのCrossKDはGFL ResNet-50の平均精度を40.2から43.7に向上させ、既存のKD手法を上回ります。
  論文  参考訳（メタデータ） (2023-06-20T08:19:51Z)
• Gradient-Guided Knowledge Distillation for Object Detectors [3.236217153362305]
  グラディエント誘導型知識蒸留(GKD)という,物体検出における知識蒸留の新しい手法を提案する。 我々のGKDは勾配情報を用いて、検出損失に大きな影響を及ぼす特徴を識別し、割り当て、生徒が教師から最も関連性の高い特徴を学習できるようにする。 KITTIとCOCO-Trafficデータセットの実験は、対象検出のための知識蒸留における本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-03-07T21:09:09Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Delving into the Pre-training Paradigm of Monocular 3D Object Detection [10.07932482761621]
  単分子3次元物体検出(M3OD)のための事前学習パラダイムについて検討する。 本稿では,このベースラインをさらに改善するためのいくつかの戦略を提案する。主に,目標とする半深度推定,キーポイント認識2Dオブジェクト検出,クラスレベルの損失調整などである。 開発したすべての技術を組み合わせることで、得られた事前学習フレームワークは、KITTI-3DおよびnuScenesベンチマーク上でM3OD性能を大幅に向上させる事前学習されたバックボーンを生成する。
  論文  参考訳（メタデータ） (2022-06-08T03:01:13Z)
• Prediction-Guided Distillation for Dense Object Detection [7.5320132424481505]
  そこで本研究では,教師の高検出性能を担っているのは,接地路境界ボックス内のごく少数の機能のみであることを示す。 教師のこれらの重要な予測領域に蒸留に焦点を当てた予測誘導蒸留(PGD)を提案する。 提案手法は, 先進的な1段階検出アーキテクチャにおいて, 最先端KDベースラインよりも優れている。
  論文  参考訳（メタデータ） (2022-03-10T16:46:05Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。