論文の概要: Knowledge Distillation for Object Detection via Rank Mimicking and
Prediction-guided Feature Imitation
- arxiv url: http://arxiv.org/abs/2112.04840v1
- Date: Thu, 9 Dec 2021 11:19:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-10 14:57:51.644147
- Title: Knowledge Distillation for Object Detection via Rank Mimicking and
Prediction-guided Feature Imitation
- Title（参考訳）: ランク模倣と予測誘導特徴模倣による物体検出のための知識蒸留
- Authors: Gang Li, Xiang Li, Yujie Wang, Shanshan Zhang, Yichao Wu, Ding Liang
- Abstract要約: 本研究では,一段検出器を蒸留するためのランクミミキング (RM) と予測誘導特徴模擬 (PFI) を提案する。
RMは、教師からの候補ボックスのランクを、蒸留のための新しい種類の知識として捉えている。
PFIは、特徴差と予測差との相関を図り、特徴の模倣を直接して生徒の精度を向上させる。
- 参考スコア（独自算出の注目度）: 34.441349114336994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Distillation (KD) is a widely-used technology to inherit
information from cumbersome teacher models to compact student models,
consequently realizing model compression and acceleration. Compared with image
classification, object detection is a more complex task, and designing specific
KD methods for object detection is non-trivial. In this work, we elaborately
study the behaviour difference between the teacher and student detection
models, and obtain two intriguing observations: First, the teacher and student
rank their detected candidate boxes quite differently, which results in their
precision discrepancy. Second, there is a considerable gap between the feature
response differences and prediction differences between teacher and student,
indicating that equally imitating all the feature maps of the teacher is the
sub-optimal choice for improving the student's accuracy. Based on the two
observations, we propose Rank Mimicking (RM) and Prediction-guided Feature
Imitation (PFI) for distilling one-stage detectors, respectively. RM takes the
rank of candidate boxes from teachers as a new form of knowledge to distill,
which consistently outperforms the traditional soft label distillation. PFI
attempts to correlate feature differences with prediction differences, making
feature imitation directly help to improve the student's accuracy. On MS COCO
and PASCAL VOC benchmarks, extensive experiments are conducted on various
detectors with different backbones to validate the effectiveness of our method.
Specifically, RetinaNet with ResNet50 achieves 40.4% mAP in MS COCO, which is
3.5% higher than its baseline, and also outperforms previous KD methods.
- Abstract（参考訳）: 知識蒸留(KD)は、面倒な教師モデルからコンパクトな学生モデルに情報を継承し、モデル圧縮と加速を実現するために広く使われている技術である。
画像分類と比較すると、オブジェクト検出はより複雑なタスクであり、オブジェクト検出のための特定のkdメソッドを設計することは自明ではない。
本研究は,教師と生徒の行動差を詳細に研究し,まず,教師と生徒が検出した候補箱を全く異なるランクでランク付けし,精度の相違をもたらす2つの興味深い観察結果を得た。
第2に,教師と生徒間の特徴応答差と予測差の間には大きなギャップがあり,教師のすべての特徴マップを等しく模倣することが,生徒の精度を向上させるための準最適選択であることを示す。
2つの観測結果に基づいて, 1段検出器を蒸留するためのランクミミキング (RM) と予測誘導特徴模擬 (PFI) を提案する。
rmは教師の候補ボックスのランクを、従来のソフトラベル蒸留を一貫して上回る新しい知識として取り上げている。
PFIは、特徴差と予測差との相関を図り、特徴の模倣を直接して生徒の精度を向上させる。
MS COCOとPASCAL VOCのベンチマークでは,バックボーンの異なる様々な検出器で広範囲に実験を行い,本手法の有効性を検証した。
具体的には、ResNet50のRetinaNetはMS COCOで40.4%のmAPを達成しており、これはベースラインよりも3.5%高い。
関連論文リスト
- Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。
本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。
その結果,提案手法はSOTA PKD法より優れていることがわかった。
論文 参考訳（メタデータ） (2024-08-16T22:11:01Z) - CrossKD: Cross-Head Knowledge Distillation for Object Detection [69.16346256926842]
知識蒸留(KD)は、コンパクト物体検出器の学習に有効なモデル圧縮技術として検証されている。
そこで本研究では,学生の検知ヘッドの中間的特徴を教師の検知ヘッドに伝達する,CrossKDと呼ばれる蒸留方式を模倣する予測手法を提案する。
われわれのCrossKDはGFL ResNet-50の平均精度を40.2から43.7に向上させ、既存のKD手法を上回ります。
論文 参考訳（メタデータ） (2023-06-20T08:19:51Z) - Improving Knowledge Distillation via Regularizing Feature Norm and
Direction [16.98806338782858]
知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。
教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。
教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
論文 参考訳（メタデータ） (2023-05-26T15:05:19Z) - Knowledge Diffusion for Distillation [53.908314960324915]
知識蒸留(KD)における教師と学生の表現ギャップ
これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。
DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
論文 参考訳（メタデータ） (2023-05-25T04:49:34Z) - Gradient-Guided Knowledge Distillation for Object Detectors [3.236217153362305]
グラディエント誘導型知識蒸留(GKD)という,物体検出における知識蒸留の新しい手法を提案する。
我々のGKDは勾配情報を用いて、検出損失に大きな影響を及ぼす特徴を識別し、割り当て、生徒が教師から最も関連性の高い特徴を学習できるようにする。
KITTIとCOCO-Trafficデータセットの実験は、対象検出のための知識蒸留における本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-03-07T21:09:09Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - PKD: General Distillation Framework for Object Detectors via Pearson
Correlation Coefficient [18.782520279344553]
この論文は、異種教師検出器によるFPNの優れた特徴が学生の助けとなることを実証的に見出した。
そこで本研究では,教師の関連情報に焦点を合わせるために,ピアソン相関係数を用いた特徴の模倣を提案する。
提案手法は,既存の検出KD法より常に優れており,同質・異質な学生・教師のペアに対しても有効である。
論文 参考訳（メタデータ） (2022-07-05T13:37:34Z) - Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge
Distillation [70.92135839545314]
本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。
DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
論文 参考訳（メタデータ） (2022-06-13T11:52:13Z) - Prediction-Guided Distillation for Dense Object Detection [7.5320132424481505]
そこで本研究では,教師の高検出性能を担っているのは,接地路境界ボックス内のごく少数の機能のみであることを示す。
教師のこれらの重要な予測領域に蒸留に焦点を当てた予測誘導蒸留(PGD)を提案する。
提案手法は, 先進的な1段階検出アーキテクチャにおいて, 最先端KDベースラインよりも優れている。
論文 参考訳（メタデータ） (2022-03-10T16:46:05Z) - G-DetKD: Towards General Distillation Framework for Object Detectors via
Contrastive and Semantic-guided Feature Imitation [49.421099172544196]
そこで本研究では,すべてのピラミッドレベルにまたがる特徴ペア間のソフトマッチングを自動的に行う,意味誘導型特徴模倣手法を提案する。
また,異なる特徴領域間の関係で符号化された情報を効果的に捉えるために,コントラスト蒸留を導入する。
本手法は,(1)フレームワークのコンポーネントを別々に使用した場合に,既存の検出KD技術よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-08-17T07:44:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。