論文の概要: Dual Scale-aware Adaptive Masked Knowledge Distillation for Object Detection
- arxiv url: http://arxiv.org/abs/2501.07101v1
- Date: Mon, 13 Jan 2025 07:26:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:24:19.320926
- Title: Dual Scale-aware Adaptive Masked Knowledge Distillation for Object Detection
- Title（参考訳）: 物体検出のための二重スケール認識適応型マスク知識蒸留法
- Authors: ZhouRui Zhang, Jun Li, JiaYan Li, ZhiJian Wu, JianHua Xu,
- Abstract要約: 高精度な物体検出のための微粒化適応型マスキング蒸留フレームワークを提案する。
本手法は,教師と学生のネットワーク間のロジット差を利用したマスキングロジット蒸留方式と組み合わせたものである。
例えば、RetinaNet、RepPoints、Cascade Mask RCNNは、それぞれ41.5%、42.9%、42.6%のmAPスコアを達成している。
- 参考スコア（独自算出の注目度）: 5.11111331168367
- License:
- Abstract: Recent feature masking knowledge distillation methods make use of attention mechanisms to identify either important spatial regions or channel clues for discriminative feature reconstruction. However, most of existing strategies perform global attention-guided feature masking distillation without delving into fine-grained visual clues in feature maps. In particular, uncovering locality-aware clues across different scales are conducive to reconstructing region-aware features, thereby significantly benefiting distillation performance. In this study, we propose a fine-grained adaptive feature masking distillation framework for accurate object detection. Different from previous methods in which global masking is performed on single-scale feature maps, we explore the scale-aware feature masking by performing feature distillation across various scales, such that the object-aware locality is encoded for improved feature reconstruction. In addition, our fine-grained feature distillation strategy is combined with a masking logits distillation scheme in which logits difference between teacher and student networks is utilized to guide the distillation process. Thus, it can help the student model to better learn from the teacher counterpart with improved knowledge transfer. Extensive experiments for detection task demonstrate the superiority of our method. For example, when RetinaNet, RepPoints and Cascade Mask RCNN are used as teacher detectors, the student network achieves mAP scores of 41.5\%, 42.9\%, and 42.6\%, respectively, outperforming state-of-the-art methods such as DMKD and FreeKD.
- Abstract（参考訳）: 最近の特徴マスキング知識蒸留法では,重要な空間領域やチャネルの手がかりを識別するための注意機構が用いられている。
しかし、既存の戦略のほとんどは、特徴地図の細かな視覚的手がかりを掘り下げることなく、グローバルな注意誘導型特徴マスキング蒸留を行っている。
特に、異なるスケールにわたる局所性認識の手がかりを明らかにすることは、地域認識の特徴を再構築し、蒸留性能を著しく向上させる。
本研究では,精密物体検出のための微粒化適応型マスク蒸留フレームワークを提案する。
単一スケールの特徴マップ上でグローバルなマスキングを行う従来の方法とは違って,様々なスケールで特徴蒸留を行うことにより,特徴再構成を改善するためにオブジェクト認識の局所性を符号化するスケールアウェアの特徴マスキングを探索する。
さらに, 教師ネットワークと学生ネットワークのロジット差を利用したマスキングロジット蒸留法と組み合わせて, 蒸留プロセスの導出を行う。
これにより、生徒モデルが、知識伝達を改善した教師からより良く学ぶことができる。
検出タスクの広範囲な実験は,本手法の優位性を実証している。
例えば、RetinaNet、RepPoints、Cascade Mask RCNNを教師検出器として使用すると、学生ネットワークは、それぞれ41.5\%、42.9\%、42.6\%のmAPスコアを達成し、DMKDやFreeKDのような最先端の手法よりも優れている。
関連論文リスト
- DFMSD: Dual Feature Masking Stage-wise Knowledge Distillation for Object Detection [6.371066478190595]
DFMSDと呼ばれる新しい二重特徴マスキングヘテロジニアス蒸留フレームワークがオブジェクト検出のために提案されている。
マスキング強化戦略とステージワイズ学習を組み合わせて特徴マスキング再構築を改善する。
オブジェクト検出タスクの実験は、我々のアプローチの可能性を実証する。
論文 参考訳（メタデータ） (2024-07-18T04:19:14Z) - Object-centric Cross-modal Feature Distillation for Event-based Object
Detection [87.50272918262361]
RGB検出器は、イベントデータのばらつきと視覚的詳細の欠如により、イベントベースの検出器よりも優れている。
これら2つのモード間の性能ギャップを縮めるための新しい知識蒸留手法を開発した。
対象中心蒸留により,イベントベースの学生物体検出装置の性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-11-09T16:33:08Z) - Efficient Object Detection in Optical Remote Sensing Imagery via
Attention-based Feature Distillation [29.821082433621868]
本研究では,物体検出のための注意型特徴蒸留(AFD)を提案する。
本稿では,背景要素と前景要素を効果的に区別するマルチインスタンスアテンション機構を提案する。
AFDは、他の最先端モデルの性能を効率よく達成する。
論文 参考訳（メタデータ） (2023-10-28T11:15:37Z) - DMKD: Improving Feature-based Knowledge Distillation for Object
Detection Via Dual Masking Augmentation [10.437237606721222]
我々は、空間的に重要かつチャネル的に情報的手がかりの両方をキャプチャできるDMKD(Dual Masked Knowledge Distillation)フレームワークを考案した。
対象物検出タスクの実験により,本手法の助けを借りて,学生ネットワークは4.1%,4.3%の性能向上を達成した。
論文 参考訳（メタデータ） (2023-09-06T05:08:51Z) - Learning Lightweight Object Detectors via Multi-Teacher Progressive
Distillation [56.053397775016755]
本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。
私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
論文 参考訳（メタデータ） (2023-08-17T17:17:08Z) - Gradient-Guided Knowledge Distillation for Object Detectors [3.236217153362305]
グラディエント誘導型知識蒸留(GKD)という,物体検出における知識蒸留の新しい手法を提案する。
我々のGKDは勾配情報を用いて、検出損失に大きな影響を及ぼす特徴を識別し、割り当て、生徒が教師から最も関連性の高い特徴を学習できるようにする。
KITTIとCOCO-Trafficデータセットの実験は、対象検出のための知識蒸留における本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-03-07T21:09:09Z) - AMD: Adaptive Masked Distillation for Object [8.668808292258706]
本研究では,物体検出のための空間チャネル適応型マスク蒸留(AMD)ネットワークを提案する。
学生のネットワークチャネルを適応させるために、シンプルで効率的なモジュールを使用します。
提案手法により, 学生ネットワークは41.3%, 42.4%, 42.7%mAPスコアを報告した。
論文 参考訳（メタデータ） (2023-01-31T10:32:13Z) - Localization Distillation for Object Detection [134.12664548771534]
物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。
本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。
われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
論文 参考訳（メタデータ） (2022-04-12T17:14:34Z) - Distilling Image Classifiers in Object Detectors [81.63849985128527]
本研究では, 物体検出の事例について検討し, 標準検出器-検出器蒸留法に従わず, 分類器-検出器間知識伝達フレームワークを導入する。
特に,検知器の認識精度とローカライゼーション性能を両立させるため,分類教師を利用する手法を提案する。
論文 参考訳（メタデータ） (2021-06-09T16:50:10Z) - Distilling Object Detectors via Decoupled Features [69.62967325617632]
より優れた学生検出器を学習するための,デカップリング機能(DeFeat)を用いた新しい蒸留アルゴリズムを提案する。
バックボーンの異なる様々な検出器を用いた実験により, 提案手法の破れが, 被写体検出の最先端蒸留法を上回ることができることを示した。
論文 参考訳（メタデータ） (2021-03-26T13:58:49Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-21T13:27:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。