論文の概要: Representation Disparity-aware Distillation for 3D Object Detection

• arxiv url: http://arxiv.org/abs/2308.10308v1
• Date: Sun, 20 Aug 2023 16:06:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 16:19:57.011422
• Title: Representation Disparity-aware Distillation for 3D Object Detection
• Title（参考訳）: 3次元物体検出のための表現差認識蒸留
• Authors: Yanjing Li, Sheng Xu, Mingbao Lin, Jihao Yin, Baochang Zhang, Xianbin Cao
• Abstract要約: 本稿では,表現格差問題に対処する新しい表現格差対応蒸留法を提案する。 RDD は CP-Voxel-S の mAP を nuScenes データセット上で57.1% に引き上げる。
• 参考スコア（独自算出の注目度）: 44.17712259352281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we focus on developing knowledge distillation (KD) for compact 3D detectors. We observe that off-the-shelf KD methods manifest their efficacy only when the teacher model and student counterpart share similar intermediate feature representations. This might explain why they are less effective in building extreme-compact 3D detectors where significant representation disparity arises due primarily to the intrinsic sparsity and irregularity in 3D point clouds. This paper presents a novel representation disparity-aware distillation (RDD) method to address the representation disparity issue and reduce performance gap between compact students and over-parameterized teachers. This is accomplished by building our RDD from an innovative perspective of information bottleneck (IB), which can effectively minimize the disparity of proposal region pairs from student and teacher in features and logits. Extensive experiments are performed to demonstrate the superiority of our RDD over existing KD methods. For example, our RDD increases mAP of CP-Voxel-S to 57.1% on nuScenes dataset, which even surpasses teacher performance while taking up only 42% FLOPs.
• Abstract（参考訳）: 本稿では,コンパクトな3次元検出器のための知識蒸留(KD)の開発に焦点をあてる。 教師モデルと生徒が類似した中間的特徴表現を共有した場合にのみ、既成のKD手法が有効であることを示す。 このことは、主に3次元点雲の内在的な間隔と不規則性に起因する顕著な表現格差が生じる超コンパクトな3次元検出器の構築に効果が低い理由を説明できるかもしれない。 本稿では,表現格差問題に対処する新しい表現格差対応蒸留法を提案する。 これは、情報ボトルネック(IB)という革新的な視点からRDDを構築することで実現され、学生と教師による機能やロジットにおける提案領域ペアの差異を効果的に最小化することができる。 既存のKD法よりもRDDの方が優れていることを示すため,大規模な実験を行った。 例えば、我々のRDDでは、CP-Voxel-SのmAPを57.1%まで増加させています。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Image-to-Lidar Relational Distillation for Autonomous Driving Data [4.893568782260855]
  2Dファウンデーションモデルは、ロバストな表現のため、ダウンストリームの監督をほとんどあるいは全く行わずに、2Dタスクに対処するのに優れています。 2D-to-3D蒸留フレームワークの出現により、これらの機能は3Dモデルに拡張された。 しかし、自律運転データセットのための3D表現の蒸留は、自己相似性、クラス不均衡、ポイントクラウドの分散といった課題を提示している。 そこで本研究では, モーダル内およびクロスモーダル間の制約を強制するリレーショナル蒸留フレームワークを提案し, その結果, 2次元表現の構造を密に捉えた3次元表現が得られた。
  論文  参考訳（メタデータ） (2024-09-01T21:26:32Z)
• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)
• Text-to-3D with Classifier Score Distillation [80.14832887529259]
  クラシファイアフリーガイダンスは最も必須ではなく、補助的なトリックだと考えられている。 我々はこの手法をスコア蒸留 (CSD) と名付け, 生成のための暗黙の分類モデルを用いて解釈できる。 我々は,形状生成,テクスチャ合成,形状編集など,テキストから3Dまでの各種タスクにおけるCSDの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-30T10:25:40Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Towards Efficient 3D Object Detection with Knowledge Distillation [38.89710768280703]
  効率的な3次元物体検出器開発のための知識蒸留の可能性を探る。 私たちの最高のパフォーマンスモデルは、65.75%$2 mAPHに達し、教師モデルを超え、わずか44%の教師フロップしか必要としない。 私たちの最も効率的なモデルは、NVIDIA A100上で51 FPSで動作します。
  論文  参考訳（メタデータ） (2022-05-30T15:02:16Z)
• Prediction-Guided Distillation for Dense Object Detection [7.5320132424481505]
  そこで本研究では,教師の高検出性能を担っているのは,接地路境界ボックス内のごく少数の機能のみであることを示す。 教師のこれらの重要な予測領域に蒸留に焦点を当てた予測誘導蒸留(PGD)を提案する。 提案手法は, 先進的な1段階検出アーキテクチャにおいて, 最先端KDベースラインよりも優れている。
  論文  参考訳（メタデータ） (2022-03-10T16:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。