論文の概要: HEAD: HEtero-Assists Distillation for Heterogeneous Object Detectors
- arxiv url: http://arxiv.org/abs/2207.05345v1
- Date: Tue, 12 Jul 2022 07:01:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 14:06:04.387946
- Title: HEAD: HEtero-Assists Distillation for Heterogeneous Object Detectors
- Title（参考訳）: HEAD:異種物体検出器のためのヘテロアッシスト蒸留法
- Authors: Luting Wang, Xiaojie Li, Yue Liao, Zeren Jiang, Jianlong Wu, Fei Wang,
Chen Qian, Si Liu
- Abstract要約: 異質な教師と学生のペア間のKDを広範に適用するために検討する。
ヘテロアッシスト蒸留(HEAD)フレームワークを提案する。
提案手法は,現在のKD法と比較して大幅に改善されている。
- 参考スコア（独自算出の注目度）: 34.90279031067575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional knowledge distillation (KD) methods for object detection mainly
concentrate on homogeneous teacher-student detectors. However, the design of a
lightweight detector for deployment is often significantly different from a
high-capacity detector. Thus, we investigate KD among heterogeneous
teacher-student pairs for a wide application. We observe that the core
difficulty for heterogeneous KD (hetero-KD) is the significant semantic gap
between the backbone features of heterogeneous detectors due to the different
optimization manners. Conventional homogeneous KD (homo-KD) methods suffer from
such a gap and are hard to directly obtain satisfactory performance for
hetero-KD. In this paper, we propose the HEtero-Assists Distillation (HEAD)
framework, leveraging heterogeneous detection heads as assistants to guide the
optimization of the student detector to reduce this gap. In HEAD, the assistant
is an additional detection head with the architecture homogeneous to the
teacher head attached to the student backbone. Thus, a hetero-KD is transformed
into a homo-KD, allowing efficient knowledge transfer from the teacher to the
student. Moreover, we extend HEAD into a Teacher-Free HEAD (TF-HEAD) framework
when a well-trained teacher detector is unavailable. Our method has achieved
significant improvement compared to current detection KD methods. For example,
on the MS-COCO dataset, TF-HEAD helps R18 RetinaNet achieve 33.9 mAP (+2.2),
while HEAD further pushes the limit to 36.2 mAP (+4.5).
- Abstract（参考訳）: 従来の知識蒸留法(kd)による物体検出は, 主に均質な教師・学生検出器に焦点をあてている。
しかし、配置のための軽量検出器の設計は、しばしば高容量検出器と大きく異なる。
そこで本研究では,教師と生徒の異種対間のkdを広く適用するために検討する。
異種kd (hetero-kd) の核となる難易度は, 異種検出器のバックボーン特性間の意味的ギャップが, 最適化方法の違いによるものである。
従来の均質なkd法(homo-kd法)はそのようなギャップに苦しめられ、ヘテロkdの満足な性能を得るのが困難である。
本稿では,異種検出ヘッドを助手として活用したヘテロアシスト蒸留(ヘッド)フレームワークを提案する。
HEADでは、アシスタントは、生徒のバックボーンに取り付けられた教師ヘッドに同質なアーキテクチャを持つ追加の検出ヘッドである。
これにより、ヘテロKDがホモKDに変換され、教師から生徒への効率的な知識伝達が可能になる。
さらに,教師検出装置が使えない場合に,HEADをTF-HEAD(Teacher-Free HEAD)フレームワークに拡張する。
本手法は電流検出kd法に比べて大幅に改善されている。
例えば、MS-COCOデータセットでは、TF-HEADはR18 RetinaNetが33.9 mAP (+2.2)を達成するのに役立つ。
関連論文リスト
- TAS: Distilling Arbitrary Teacher and Student via a Hybrid Assistant [52.0297393822012]
異質な教師と学生間の機能的知識の伝達を容易にするために,橋梁としてアシスタントモデルを導入する。
提案した設計原理の中では, クロスアーキテクチャ帰納バイアスとモジュール関数の利点を組み合わせたアシスタントモデルが提案されている。
提案手法は, CNN, ViT, 空間KDの同種モデルペアと任意の異種組み合わせを用いて評価する。
論文 参考訳（メタデータ） (2024-10-16T08:02:49Z) - One-for-All: Bridge the Gap Between Heterogeneous Architectures in
Knowledge Distillation [69.65734716679925]
知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。
既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。
我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
論文 参考訳（メタデータ） (2023-10-30T11:13:02Z) - CrossKD: Cross-Head Knowledge Distillation for Object Detection [69.16346256926842]
知識蒸留(KD)は、コンパクト物体検出器の学習に有効なモデル圧縮技術として検証されている。
そこで本研究では,学生の検知ヘッドの中間的特徴を教師の検知ヘッドに伝達する,CrossKDと呼ばれる蒸留方式を模倣する予測手法を提案する。
われわれのCrossKDはGFL ResNet-50の平均精度を40.2から43.7に向上させ、既存のKD手法を上回ります。
論文 参考訳（メタデータ） (2023-06-20T08:19:51Z) - Gradient-Guided Knowledge Distillation for Object Detectors [3.236217153362305]
グラディエント誘導型知識蒸留(GKD)という,物体検出における知識蒸留の新しい手法を提案する。
我々のGKDは勾配情報を用いて、検出損失に大きな影響を及ぼす特徴を識別し、割り当て、生徒が教師から最も関連性の高い特徴を学習できるようにする。
KITTIとCOCO-Trafficデータセットの実験は、対象検出のための知識蒸留における本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-03-07T21:09:09Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - PKD: General Distillation Framework for Object Detectors via Pearson
Correlation Coefficient [18.782520279344553]
この論文は、異種教師検出器によるFPNの優れた特徴が学生の助けとなることを実証的に見出した。
そこで本研究では,教師の関連情報に焦点を合わせるために,ピアソン相関係数を用いた特徴の模倣を提案する。
提案手法は,既存の検出KD法より常に優れており,同質・異質な学生・教師のペアに対しても有効である。
論文 参考訳（メタデータ） (2022-07-05T13:37:34Z) - Knowledge Distillation for Object Detection via Rank Mimicking and
Prediction-guided Feature Imitation [34.441349114336994]
本研究では,一段検出器を蒸留するためのランクミミキング (RM) と予測誘導特徴模擬 (PFI) を提案する。
RMは、教師からの候補ボックスのランクを、蒸留のための新しい種類の知識として捉えている。
PFIは、特徴差と予測差との相関を図り、特徴の模倣を直接して生徒の精度を向上させる。
論文 参考訳（メタデータ） (2021-12-09T11:19:15Z) - G-DetKD: Towards General Distillation Framework for Object Detectors via
Contrastive and Semantic-guided Feature Imitation [49.421099172544196]
そこで本研究では,すべてのピラミッドレベルにまたがる特徴ペア間のソフトマッチングを自動的に行う,意味誘導型特徴模倣手法を提案する。
また,異なる特徴領域間の関係で符号化された情報を効果的に捉えるために,コントラスト蒸留を導入する。
本手法は,(1)フレームワークのコンポーネントを別々に使用した場合に,既存の検出KD技術よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-08-17T07:44:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。