論文の概要: SAMKD: Spatial-aware Adaptive Masking Knowledge Distillation for Object Detection
- arxiv url: http://arxiv.org/abs/2501.07101v2
- Date: Mon, 24 Mar 2025 12:47:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:29:55.433779
- Title: SAMKD: Spatial-aware Adaptive Masking Knowledge Distillation for Object Detection
- Title（参考訳）: SAMKD:物体検出のための空間認識適応型マスキング知識蒸留
- Authors: Zhourui Zhang, Jun Li, Jiayan Li, Jianhua Xu,
- Abstract要約: 正確な物体検出のための空間認識型適応的マスキング知識蒸留フレームワークを提案する。
本手法は, 学生のネットワークを35.3%から38.8%に改善し, 最先端蒸留法より優れていた。
- 参考スコア（独自算出の注目度）: 4.33169417430713
- License:
- Abstract: Most of recent attention-guided feature masking distillation methods perform knowledge transfer via global teacher attention maps without delving into fine-grained clues. Instead, performing distillation at finer granularity is conducive to uncovering local details supplementary to global knowledge transfer and reconstructing comprehensive student features. In this study, we propose a Spatial-aware Adaptive Masking Knowledge Distillation (SAMKD) framework for accurate object detection. Different from previous feature distillation methods which mainly perform single-scale feature masking, we develop spatially hierarchical feature masking distillation scheme, such that the object-aware locality is encoded during coarse-to-fine distillation process for improved feature reconstruction. In addition, our spatial-aware feature distillation strategy is combined with a masking logit distillation scheme in which region-specific feature difference between teacher and student networks is utilized to adaptively guide the distillation process. Thus, it can help the student model to better learn from the teacher counterpart with improved knowledge transfer and reduced gap. Extensive experiments for detection task demonstrate the superiority of our method. For example, when FCOS is used as teacher detector with ResNet101 backbone, our method improves the student network from 35.3\% to 38.8\% mAP, outperforming state-of-the-art distillation methods including MGD, FreeKD and DMKD.
- Abstract（参考訳）: 近年の注目誘導型マスキング蒸留法の多くは, 微粒な手がかりを掘り下げることなく, グローバルな教師の注意図を通して知識伝達を行っている。
代わりに、より微細な粒度で蒸留を行うことは、グローバルな知識伝達に付随する局所的な詳細を明らかにすることや、総合的な学生の特徴を再構築することにつながる。
本研究では,正確な物体検出のための空間認識型適応的マスキング知識蒸留(SAMKD)フレームワークを提案する。
単一スケールの特徴マスキングを主目的とする従来の特徴マスキング法と異なり, 粗大かつ微細な蒸留プロセス中にオブジェクト認識の局所性を符号化して特徴マスキングを改善するような空間的階層的特徴マスキング蒸留法を開発した。
さらに,我々の空間認識型特徴蒸留戦略と,教師と学生のネットワーク間の地域特色差を利用したマスキングロジット蒸留手法を組み合わせることで,蒸留プロセスの適応的指導を行う。
これにより、生徒モデルは、知識の伝達を改善し、ギャップを減らし、教師からより良く学ぶことができる。
検出タスクの広範囲な実験は,本手法の優位性を実証している。
例えば、ResNet101バックボーンを用いた教師検出器としてFCOSを使用すると、学生ネットワークは35.3\%から38.8\%mAPに改善され、MGD、FreeKD、DMKDといった最先端の蒸留方法よりも優れている。
関連論文リスト
- DFMSD: Dual Feature Masking Stage-wise Knowledge Distillation for Object Detection [6.371066478190595]
DFMSDと呼ばれる新しい二重特徴マスキングヘテロジニアス蒸留フレームワークがオブジェクト検出のために提案されている。
マスキング強化戦略とステージワイズ学習を組み合わせて特徴マスキング再構築を改善する。
オブジェクト検出タスクの実験は、我々のアプローチの可能性を実証する。
論文 参考訳（メタデータ） (2024-07-18T04:19:14Z) - Object-centric Cross-modal Feature Distillation for Event-based Object
Detection [87.50272918262361]
RGB検出器は、イベントデータのばらつきと視覚的詳細の欠如により、イベントベースの検出器よりも優れている。
これら2つのモード間の性能ギャップを縮めるための新しい知識蒸留手法を開発した。
対象中心蒸留により,イベントベースの学生物体検出装置の性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-11-09T16:33:08Z) - Efficient Object Detection in Optical Remote Sensing Imagery via
Attention-based Feature Distillation [29.821082433621868]
本研究では,物体検出のための注意型特徴蒸留(AFD)を提案する。
本稿では,背景要素と前景要素を効果的に区別するマルチインスタンスアテンション機構を提案する。
AFDは、他の最先端モデルの性能を効率よく達成する。
論文 参考訳（メタデータ） (2023-10-28T11:15:37Z) - DMKD: Improving Feature-based Knowledge Distillation for Object
Detection Via Dual Masking Augmentation [10.437237606721222]
我々は、空間的に重要かつチャネル的に情報的手がかりの両方をキャプチャできるDMKD(Dual Masked Knowledge Distillation)フレームワークを考案した。
対象物検出タスクの実験により,本手法の助けを借りて,学生ネットワークは4.1%,4.3%の性能向上を達成した。
論文 参考訳（メタデータ） (2023-09-06T05:08:51Z) - Learning Lightweight Object Detectors via Multi-Teacher Progressive
Distillation [56.053397775016755]
本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。
私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
論文 参考訳（メタデータ） (2023-08-17T17:17:08Z) - Gradient-Guided Knowledge Distillation for Object Detectors [3.236217153362305]
グラディエント誘導型知識蒸留(GKD)という,物体検出における知識蒸留の新しい手法を提案する。
我々のGKDは勾配情報を用いて、検出損失に大きな影響を及ぼす特徴を識別し、割り当て、生徒が教師から最も関連性の高い特徴を学習できるようにする。
KITTIとCOCO-Trafficデータセットの実験は、対象検出のための知識蒸留における本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-03-07T21:09:09Z) - AMD: Adaptive Masked Distillation for Object [8.668808292258706]
本研究では,物体検出のための空間チャネル適応型マスク蒸留(AMD)ネットワークを提案する。
学生のネットワークチャネルを適応させるために、シンプルで効率的なモジュールを使用します。
提案手法により, 学生ネットワークは41.3%, 42.4%, 42.7%mAPスコアを報告した。
論文 参考訳（メタデータ） (2023-01-31T10:32:13Z) - Localization Distillation for Object Detection [134.12664548771534]
物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。
本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。
われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
論文 参考訳（メタデータ） (2022-04-12T17:14:34Z) - Distilling Image Classifiers in Object Detectors [81.63849985128527]
本研究では, 物体検出の事例について検討し, 標準検出器-検出器蒸留法に従わず, 分類器-検出器間知識伝達フレームワークを導入する。
特に,検知器の認識精度とローカライゼーション性能を両立させるため,分類教師を利用する手法を提案する。
論文 参考訳（メタデータ） (2021-06-09T16:50:10Z) - Distilling Object Detectors via Decoupled Features [69.62967325617632]
より優れた学生検出器を学習するための,デカップリング機能(DeFeat)を用いた新しい蒸留アルゴリズムを提案する。
バックボーンの異なる様々な検出器を用いた実験により, 提案手法の破れが, 被写体検出の最先端蒸留法を上回ることができることを示した。
論文 参考訳（メタデータ） (2021-03-26T13:58:49Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-21T13:27:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。