論文の概要: DFMSD: Dual Feature Masking Stage-wise Knowledge Distillation for Object Detection

• arxiv url: http://arxiv.org/abs/2407.13147v1
• Date: Thu, 18 Jul 2024 04:19:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 16:51:58.155554
• Title: DFMSD: Dual Feature Masking Stage-wise Knowledge Distillation for Object Detection
• Title（参考訳）: DFMSD: 物体検出のための段階的知識蒸留
• Authors: Zhourui Zhang, Jun Li, Zhijian Wu, Jifeng Shen, Jianhua Xu,
• Abstract要約: DFMSDと呼ばれる新しい二重特徴マスキングヘテロジニアス蒸留フレームワークがオブジェクト検出のために提案されている。 マスキング強化戦略とステージワイズ学習を組み合わせて特徴マスキング再構築を改善する。 オブジェクト検出タスクの実験は、我々のアプローチの可能性を実証する。
• 参考スコア（独自算出の注目度）: 6.371066478190595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, current mainstream feature masking distillation methods mainly function by reconstructing selectively masked regions of a student network from the feature maps of a teacher network. In these methods, attention mechanisms can help to identify spatially important regions and crucial object-aware channel clues, such that the reconstructed features are encoded with sufficient discriminative and representational power similar to teacher features. However, previous feature-masking distillation methods mainly address homogeneous knowledge distillation without fully taking into account the heterogeneous knowledge distillation scenario. In particular, the huge discrepancy between the teacher and the student frameworks within the heterogeneous distillation paradigm is detrimental to feature masking, leading to deteriorating reconstructed student features. In this study, a novel dual feature-masking heterogeneous distillation framework termed DFMSD is proposed for object detection. More specifically, a stage-wise adaptation learning module is incorporated into the dual feature-masking framework, and thus the student model can be progressively adapted to the teacher models for bridging the gap between heterogeneous networks. Furthermore, a masking enhancement strategy is combined with stage-wise learning such that object-aware masking regions are adaptively strengthened to improve feature-masking reconstruction. In addition, semantic alignment is performed at each Feature Pyramid Network (FPN) layer between the teacher and the student networks for generating consistent feature distributions. Our experiments for the object detection task demonstrate the promise of our approach, suggesting that DFMSD outperforms both the state-of-the-art heterogeneous and homogeneous distillation methods.
• Abstract（参考訳）: 近年,教師ネットワークの特徴マップから学生ネットワークの選択的マスキング領域を再構築することで,現在主流のマスキング蒸留法が主に機能している。 これらの方法では、教師の特徴と類似した十分な識別力と表現力で、再構成された特徴が符号化されるように、空間的に重要な領域と重要なオブジェクト認識チャネルの手がかりを識別するのに役立つ。 しかし, 従来の特徴マスキング蒸留法は, 不均一な知識蒸留シナリオを考慮せずに, 均質な知識蒸留を主目的としていた。 特に, 不均一蒸留パラダイムにおける教師と学生の枠組みの相違は, 特徴マスキングに有害であり, 再建された生徒の特徴を損なう。 本研究では,DFMSDと呼ばれる新しい二重特徴マスキングヘテロジニアス蒸留法を提案する。 より具体的には、段階的適応学習モジュールを二重特徴マスキングフレームワークに組み込んで、異種ネットワーク間のギャップを埋めるための教師モデルに学生モデルを段階的に適応させることができる。 さらに、マスキング強化戦略と段階学習を組み合わせることで、オブジェクト認識マスキング領域を適応的に強化し、特徴マスキング再構築を改善する。 さらに、教師と学生ネットワーク間の各特徴ピラミッドネットワーク(FPN)層でセマンティックアライメントを行い、一貫した特徴分布を生成する。 対象物検出タスクに対する実験により, DFMSDは, 最先端の不均質蒸留法と同質蒸留法の両方に優れていたことが示唆された。

関連論文リスト

• Structural Teacher-Student Normality Learning for Multi-Class Anomaly Detection and Localization [17.543208086457234]
  SNL(Structure Teacher-Student Normality Learning)と呼ばれる新しいアプローチを導入する。 提案手法をMVTecADとVisAの2つの異常検出データセットで評価した。 この方法では, MVTecADが3.9%, MVTecADが1.5%, VisAが1.2%, 2.5%と, 最先端の蒸留アルゴリズムをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-02-27T00:02:24Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• CMFDFormer: Transformer-based Copy-Move Forgery Detection with Continual Learning [52.72888626663642]
  コピーモーブ偽造検出は、疑わしい偽画像中の重複領域を検出することを目的としている。 深層学習に基づく複写偽造検出手法が最上位にある。 CMFDFormer という名称の Transformer-style copy-move forgery ネットワークを提案する。 また、CMFDFormerが新しいタスクを処理できるように、新しいPCSD連続学習フレームワークを提供する。
  論文  参考訳（メタデータ） (2023-11-22T09:27:46Z)
• DMKD: Improving Feature-based Knowledge Distillation for Object Detection Via Dual Masking Augmentation [10.437237606721222]
  我々は、空間的に重要かつチャネル的に情報的手がかりの両方をキャプチャできるDMKD(Dual Masked Knowledge Distillation)フレームワークを考案した。 対象物検出タスクの実験により,本手法の助けを借りて,学生ネットワークは4.1%,4.3%の性能向上を達成した。
  論文  参考訳（メタデータ） (2023-09-06T05:08:51Z)
• AMD: Adaptive Masked Distillation for Object [8.668808292258706]
  本研究では,物体検出のための空間チャネル適応型マスク蒸留(AMD)ネットワークを提案する。 学生のネットワークチャネルを適応させるために、シンプルで効率的なモジュールを使用します。 提案手法により, 学生ネットワークは41.3%, 42.4%, 42.7%mAPスコアを報告した。
  論文  参考訳（メタデータ） (2023-01-31T10:32:13Z)
• ADPS: Asymmetric Distillation Post-Segmentation for Image Anomaly Detection [75.68023968735523]
  知識蒸留に基づく異常検出 (KDAD) 法は, 異常領域を検出し, セグメント化するために, 教師学生のパラダイムに頼っている。 非対称蒸留ポストセグメンテーション(ADPS)と呼ばれる革新的なアプローチを提案する。 我々のADPSは、教師-学生ネットワークの入力と同じイメージの異なる形態の非対称蒸留パラダイムを採用している。 ADPSは,MVTec ADとKolektorSDD2データセットで平均精度(AP)を9%,20%向上させることを示した。
  論文  参考訳（メタデータ） (2022-10-19T12:04:47Z)
• Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
  既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。 2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。 この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
  論文  参考訳（メタデータ） (2022-07-19T03:31:13Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Differentiable Feature Aggregation Search for Knowledge Distillation [47.94874193183427]
  単教師蒸留フレームワークにおける多教師蒸留を模倣する特徴集約について紹介する。 DFAは、ニューラルネットワーク探索においてDARTSによって動機付けられた2段階の微分可能特徴集合探索法である。 実験の結果,DFAはCIFAR-100およびCINIC-10データセットの既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-02T15:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。