論文の概要: Representation Disparity-aware Distillation for 3D Object Detection
- arxiv url: http://arxiv.org/abs/2308.10308v1
- Date: Sun, 20 Aug 2023 16:06:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 16:19:57.011422
- Title: Representation Disparity-aware Distillation for 3D Object Detection
- Title(参考訳): 3次元物体検出のための表現差認識蒸留
- Authors: Yanjing Li, Sheng Xu, Mingbao Lin, Jihao Yin, Baochang Zhang, Xianbin
Cao
- Abstract要約: 本稿では,表現格差問題に対処する新しい表現格差対応蒸留法を提案する。
RDD は CP-Voxel-S の mAP を nuScenes データセット上で57.1% に引き上げる。
- 参考スコア(独自算出の注目度): 44.17712259352281
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we focus on developing knowledge distillation (KD) for compact
3D detectors. We observe that off-the-shelf KD methods manifest their efficacy
only when the teacher model and student counterpart share similar intermediate
feature representations. This might explain why they are less effective in
building extreme-compact 3D detectors where significant representation
disparity arises due primarily to the intrinsic sparsity and irregularity in 3D
point clouds. This paper presents a novel representation disparity-aware
distillation (RDD) method to address the representation disparity issue and
reduce performance gap between compact students and over-parameterized
teachers. This is accomplished by building our RDD from an innovative
perspective of information bottleneck (IB), which can effectively minimize the
disparity of proposal region pairs from student and teacher in features and
logits. Extensive experiments are performed to demonstrate the superiority of
our RDD over existing KD methods. For example, our RDD increases mAP of
CP-Voxel-S to 57.1% on nuScenes dataset, which even surpasses teacher
performance while taking up only 42% FLOPs.
- Abstract(参考訳): 本稿では,コンパクトな3次元検出器のための知識蒸留(KD)の開発に焦点をあてる。
教師モデルと生徒が類似した中間的特徴表現を共有した場合にのみ、既成のKD手法が有効であることを示す。
このことは、主に3次元点雲の内在的な間隔と不規則性に起因する顕著な表現格差が生じる超コンパクトな3次元検出器の構築に効果が低い理由を説明できるかもしれない。
本稿では,表現格差問題に対処する新しい表現格差対応蒸留法を提案する。
これは、情報ボトルネック(IB)という革新的な視点からRDDを構築することで実現され、学生と教師による機能やロジットにおける提案領域ペアの差異を効果的に最小化することができる。
既存のKD法よりもRDDの方が優れていることを示すため,大規模な実験を行った。
例えば、我々のRDDでは、CP-Voxel-SのmAPを57.1%まで増加させています。
関連論文リスト
- FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with
Pre-trained Vision-Language Models [62.663113296987085]
クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。
冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。
既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
論文 参考訳(メタデータ) (2023-12-28T14:52:07Z) - RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering
Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。
本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文 参考訳(メタデータ) (2023-12-19T03:39:56Z) - Robustness-Reinforced Knowledge Distillation with Correlation Distance
and Network Pruning [3.1423836318272773]
知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。
既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。
相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
論文 参考訳(メタデータ) (2023-11-23T11:34:48Z) - Text-to-3D with Classifier Score Distillation [80.14832887529259]
クラシファイアフリーガイダンスは最も必須ではなく、補助的なトリックだと考えられている。
我々はこの手法をスコア蒸留 (CSD) と名付け, 生成のための暗黙の分類モデルを用いて解釈できる。
我々は,形状生成,テクスチャ合成,形状編集など,テキストから3Dまでの各種タスクにおけるCSDの有効性を検証した。
論文 参考訳(メタデータ) (2023-10-30T10:25:40Z) - Knowledge Diffusion for Distillation [53.908314960324915]
知識蒸留(KD)における教師と学生の表現ギャップ
これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。
DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
論文 参考訳(メタデータ) (2023-05-25T04:49:34Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳(メタデータ) (2022-09-20T16:36:28Z) - Towards Efficient 3D Object Detection with Knowledge Distillation [38.89710768280703]
効率的な3次元物体検出器開発のための知識蒸留の可能性を探る。
私たちの最高のパフォーマンスモデルは、65.75%$2 mAPHに達し、教師モデルを超え、わずか44%の教師フロップしか必要としない。
私たちの最も効率的なモデルは、NVIDIA A100上で51 FPSで動作します。
論文 参考訳(メタデータ) (2022-05-30T15:02:16Z) - Prediction-Guided Distillation for Dense Object Detection [7.5320132424481505]
そこで本研究では,教師の高検出性能を担っているのは,接地路境界ボックス内のごく少数の機能のみであることを示す。
教師のこれらの重要な予測領域に蒸留に焦点を当てた予測誘導蒸留(PGD)を提案する。
提案手法は, 先進的な1段階検出アーキテクチャにおいて, 最先端KDベースラインよりも優れている。
論文 参考訳(メタデータ) (2022-03-10T16:46:05Z) - Knowledge Distillation for Object Detection via Rank Mimicking and
Prediction-guided Feature Imitation [34.441349114336994]
本研究では,一段検出器を蒸留するためのランクミミキング (RM) と予測誘導特徴模擬 (PFI) を提案する。
RMは、教師からの候補ボックスのランクを、蒸留のための新しい種類の知識として捉えている。
PFIは、特徴差と予測差との相関を図り、特徴の模倣を直接して生徒の精度を向上させる。
論文 参考訳(メタデータ) (2021-12-09T11:19:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。