論文の概要: Gradient-Guided Knowledge Distillation for Object Detectors
- arxiv url: http://arxiv.org/abs/2303.04240v1
- Date: Tue, 7 Mar 2023 21:09:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 15:54:21.218420
- Title: Gradient-Guided Knowledge Distillation for Object Detectors
- Title（参考訳）: 物体検出器の勾配誘導型知識蒸留
- Authors: Qizhen Lan and Qing Tian
- Abstract要約: グラディエント誘導型知識蒸留(GKD)という,物体検出における知識蒸留の新しい手法を提案する。
我々のGKDは勾配情報を用いて、検出損失に大きな影響を及ぼす特徴を識別し、割り当て、生徒が教師から最も関連性の高い特徴を学習できるようにする。
KITTIとCOCO-Trafficデータセットの実験は、対象検出のための知識蒸留における本手法の有効性を実証する。
- 参考スコア（独自算出の注目度）: 3.236217153362305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models have demonstrated remarkable success in object
detection, yet their complexity and computational intensity pose a barrier to
deploying them in real-world applications (e.g., self-driving perception).
Knowledge Distillation (KD) is an effective way to derive efficient models.
However, only a small number of KD methods tackle object detection. Also, most
of them focus on mimicking the plain features of the teacher model but rarely
consider how the features contribute to the final detection. In this paper, we
propose a novel approach for knowledge distillation in object detection, named
Gradient-guided Knowledge Distillation (GKD). Our GKD uses gradient information
to identify and assign more weights to features that significantly impact the
detection loss, allowing the student to learn the most relevant features from
the teacher. Furthermore, we present bounding-box-aware multi-grained feature
imitation (BMFI) to further improve the KD performance. Experiments on the
KITTI and COCO-Traffic datasets demonstrate our method's efficacy in knowledge
distillation for object detection. On one-stage and two-stage detectors, our
GKD-BMFI leads to an average of 5.1% and 3.8% mAP improvement, respectively,
beating various state-of-the-art KD methods.
- Abstract（参考訳）: 深層学習モデルは、物体検出において顕著に成功したが、その複雑さと計算強度は、現実のアプリケーション(例えば、自動運転の知覚)にそれらを展開する上で障壁となる。
知識蒸留(KD)は効率的なモデルを導出する有効な方法である。
しかし、少数のKDメソッドしかオブジェクト検出に取り組みません。
また、多くは教師モデルの平易な特徴を模倣することに集中しているが、その特徴が最終発見にどのように貢献するかを考えることは滅多にない。
本稿では,GKD (Gradient-Guided Knowledge Distillation) という,物体検出における知識蒸留の新しい手法を提案する。
我々のGKDは勾配情報を用いて、検出損失に大きな影響を及ぼす特徴を識別し、割り当て、生徒が教師から最も関連性の高い特徴を学習できるようにする。
さらに、KD性能をさらに向上するために、有界ボックス対応多粒性特徴模倣(BMFI)を提案する。
KITTIとCOCO-Trafficデータセットの実験は、対象検出のための知識蒸留における本手法の有効性を実証する。
1段階と2段階の検出器では、我々のgkd-bmfiは平均5.1%と3.8%の地図改善をもたらす。
関連論文リスト
- Domain-invariant Progressive Knowledge Distillation for UAV-based Object Detection [13.255646312416532]
UAV-ODのための新しい知識蒸留フレームワークを提案する。
具体的には, プログレッシブ蒸留法により, 教師モデルと学生モデルの特徴ギャップを緩和する。
学生モデルの知識受容効率を高めるために,対象物に関連する特徴を抽出する新たな特徴アライメント法が提供される。
論文 参考訳（メタデータ） (2024-08-21T08:05:03Z) - Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。
RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。
我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
論文 参考訳（メタデータ） (2024-07-04T08:08:25Z) - Teaching with Uncertainty: Unleashing the Potential of Knowledge Distillation in Object Detection [47.0507287491627]
本稿では,物体検出のための知識の不確実性を考慮した特徴量に基づく蒸留パラダイムを提案する。
モンテカルロのドロップアウト手法を利用して,学生モデルの学習過程に知識の不確実性を導入する。
本手法は,複雑な構造や計算資源を必要とせずに,KDプロセス中に効果的に機能する。
論文 参考訳（メタデータ） (2024-06-11T06:51:02Z) - Efficient Object Detection in Optical Remote Sensing Imagery via
Attention-based Feature Distillation [29.821082433621868]
本研究では,物体検出のための注意型特徴蒸留(AFD)を提案する。
本稿では,背景要素と前景要素を効果的に区別するマルチインスタンスアテンション機構を提案する。
AFDは、他の最先端モデルの性能を効率よく達成する。
論文 参考訳（メタデータ） (2023-10-28T11:15:37Z) - CrossKD: Cross-Head Knowledge Distillation for Object Detection [69.16346256926842]
知識蒸留(KD)は、コンパクト物体検出器の学習に有効なモデル圧縮技術として検証されている。
そこで本研究では,学生の検知ヘッドの中間的特徴を教師の検知ヘッドに伝達する,CrossKDと呼ばれる蒸留方式を模倣する予測手法を提案する。
われわれのCrossKDはGFL ResNet-50の平均精度を40.2から43.7に向上させ、既存のKD手法を上回ります。
論文 参考訳（メタデータ） (2023-06-20T08:19:51Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - Knowledge Distillation for Object Detection via Rank Mimicking and
Prediction-guided Feature Imitation [34.441349114336994]
本研究では,一段検出器を蒸留するためのランクミミキング (RM) と予測誘導特徴模擬 (PFI) を提案する。
RMは、教師からの候補ボックスのランクを、蒸留のための新しい種類の知識として捉えている。
PFIは、特徴差と予測差との相関を図り、特徴の模倣を直接して生徒の精度を向上させる。
論文 参考訳（メタデータ） (2021-12-09T11:19:15Z) - Distilling Image Classifiers in Object Detectors [81.63849985128527]
本研究では, 物体検出の事例について検討し, 標準検出器-検出器蒸留法に従わず, 分類器-検出器間知識伝達フレームワークを導入する。
特に,検知器の認識精度とローカライゼーション性能を両立させるため,分類教師を利用する手法を提案する。
論文 参考訳（メタデータ） (2021-06-09T16:50:10Z) - Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。
提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
論文 参考訳（メタデータ） (2020-05-02T06:56:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。