論文の概要: DMKD: Improving Feature-based Knowledge Distillation for Object
Detection Via Dual Masking Augmentation
- arxiv url: http://arxiv.org/abs/2309.02719v2
- Date: Thu, 7 Sep 2023 03:36:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 15:37:48.589075
- Title: DMKD: Improving Feature-based Knowledge Distillation for Object
Detection Via Dual Masking Augmentation
- Title（参考訳）: DMKD:デュアルマスキング強化による物体検出のための特徴ベース知識蒸留の改良
- Authors: Guang Yang, Yin Tang, Zhijian Wu, Jun Li, Jianhua Xu, Xili Wan
- Abstract要約: 我々は、空間的に重要かつチャネル的に情報的手がかりの両方をキャプチャできるDMKD(Dual Masked Knowledge Distillation)フレームワークを考案した。
対象物検出タスクの実験により,本手法の助けを借りて,学生ネットワークは4.1%,4.3%の性能向上を達成した。
- 参考スコア（独自算出の注目度）: 10.437237606721222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent mainstream masked distillation methods function by reconstructing
selectively masked areas of a student network from the feature map of its
teacher counterpart. In these methods, the masked regions need to be properly
selected, such that reconstructed features encode sufficient discrimination and
representation capability like the teacher feature. However, previous masked
distillation methods only focus on spatial masking, making the resulting masked
areas biased towards spatial importance without encoding informative channel
clues. In this study, we devise a Dual Masked Knowledge Distillation (DMKD)
framework which can capture both spatially important and channel-wise
informative clues for comprehensive masked feature reconstruction. More
specifically, we employ dual attention mechanism for guiding the respective
masking branches, leading to reconstructed feature encoding dual significance.
Furthermore, fusing the reconstructed features is achieved by self-adjustable
weighting strategy for effective feature distillation. Our experiments on
object detection task demonstrate that the student networks achieve performance
gains of 4.1% and 4.3% with the help of our method when RetinaNet and Cascade
Mask R-CNN are respectively used as the teacher networks, while outperforming
the other state-of-the-art distillation methods.
- Abstract（参考訳）: 最近の主流のマスキング蒸留法では,教師の特徴地図から学生ネットワークの選択的マスキング領域を再構成する機能がある。
これらの手法では,教師の特徴のような十分な識別と表現能力が再現されるように,マスク領域を適切に選択する必要がある。
しかし, 従来のマスク蒸留法では, 空間マスキングのみに焦点が当てられており, 得られたマスキング領域は情報チャネルの手がかりを符号化することなく, 空間的重要性に偏っている。
本研究では,包括的マスク付き特徴再構成のための空間的重要情報とチャネル的情報的手がかりの両方を捕捉できるDMKD(Dual Masked Knowledge Distillation)フレームワークを考案した。
具体的には,各マスキング枝を案内する2重注意機構を用い,2重重要度を符号化した特徴の再構築を行う。
さらに, 自己調整可能な重み付け戦略により, 効率的な特徴蒸留を行うことにより, 再構成された特徴を融合させる。
対象検出タスクにおける実験により, RetinaNet と Cascade Mask R-CNN をそれぞれ教師ネットワークとして用いた場合, 生徒ネットワークの性能は4.1%, 4.3%向上し, 他の最先端蒸留法よりも優れていた。
関連論文リスト
- Semantic Refocused Tuning for Open-Vocabulary Panoptic Segmentation [42.020470627552136]
Open-vocabulary Panoptic segmentationは、イメージを意味のあるマスクに正確に分割することを目的とした、新たなタスクである。
マスク分類は、オープンボキャブ・パノプティクスのセグメンテーションにおける主要なパフォーマンスボトルネックである。
オープンボキャブ・パノプティクスのセグメンテーションを大幅に強化する新しいフレームワークであるセマンティック・リフォーカス・タニングを提案する。
論文 参考訳（メタデータ） (2024-09-24T17:50:28Z) - DFMSD: Dual Feature Masking Stage-wise Knowledge Distillation for Object Detection [6.371066478190595]
DFMSDと呼ばれる新しい二重特徴マスキングヘテロジニアス蒸留フレームワークがオブジェクト検出のために提案されている。
マスキング強化戦略とステージワイズ学習を組み合わせて特徴マスキング再構築を改善する。
オブジェクト検出タスクの実験は、我々のアプローチの可能性を実証する。
論文 参考訳（メタデータ） (2024-07-18T04:19:14Z) - Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。
そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
論文 参考訳（メタデータ） (2023-10-03T12:08:15Z) - Masking Improves Contrastive Self-Supervised Learning for ConvNets, and Saliency Tells You Where [63.61248884015162]
我々は、畳み込みニューラルネットワークのためのコントラスト学習フレームワークにマスキング操作を組み込むことの負担を軽減することを目的としている。
マスクされた領域が、前景と背景の間に均等に分散されていることを考慮し、塩分濃度の制約を明示的に考慮することを提案する。
論文 参考訳（メタデータ） (2023-09-22T09:58:38Z) - Cross Architecture Distillation for Face Recognition [49.55061794917994]
本研究では,教師にプロンプトを組み込むことで,蒸留専門知識の管理を可能にする適応型プロンプト教師ネットワーク(APT)を開発した。
一般的な顔のベンチマークと2つの大規模な検証セットによる実験は,本手法の優位性を実証している。
論文 参考訳（メタデータ） (2023-06-26T12:54:28Z) - AMD: Adaptive Masked Distillation for Object [8.668808292258706]
本研究では,物体検出のための空間チャネル適応型マスク蒸留(AMD)ネットワークを提案する。
学生のネットワークチャネルを適応させるために、シンプルで効率的なモジュールを使用します。
提案手法により, 学生ネットワークは41.3%, 42.4%, 42.7%mAPスコアを報告した。
論文 参考訳（メタデータ） (2023-01-31T10:32:13Z) - ADPS: Asymmetric Distillation Post-Segmentation for Image Anomaly
Detection [75.68023968735523]
知識蒸留に基づく異常検出 (KDAD) 法は, 異常領域を検出し, セグメント化するために, 教師学生のパラダイムに頼っている。
非対称蒸留ポストセグメンテーション(ADPS)と呼ばれる革新的なアプローチを提案する。
我々のADPSは、教師-学生ネットワークの入力と同じイメージの異なる形態の非対称蒸留パラダイムを採用している。
ADPSは,MVTec ADとKolektorSDD2データセットで平均精度(AP)を9%,20%向上させることを示した。
論文 参考訳（メタデータ） (2022-10-19T12:04:47Z) - What You See is What You Classify: Black Box Attributions [61.998683569022006]
我々は、トレーニング済みのブラックボックス分類器であるExpplanandumの属性を予測するために、ディープネットワークであるExplainerを訓練する。
既存のほとんどのアプローチとは異なり、我々の手法はクラス固有のマスクを直接生成することができる。
我々の属性は、視覚的および定量的に確立された方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-05-23T12:30:04Z) - CoupleFace: Relation Matters for Face Recognition Distillation [26.2626768462705]
本稿では,CoupleFaceと呼ばれる効果的な顔認識蒸留法を提案する。
まず,情報的相互関係を抽出し,教師モデルの相互関係知識を学生モデルに伝達するために,関係意識蒸留(RAD)損失を導入することを提案する。
提案したCoupleFaceに基づいて,ICCV21 Masked Face Recognition Challenge (MS1M track)で優勝した。
論文 参考訳（メタデータ） (2022-04-12T03:25:42Z) - HMFS: Hybrid Masking for Few-Shot Segmentation [27.49000348046462]
我々は特徴マスキング(FM)を強化するためのシンプルで効果的で効率的なアプローチを開発した。
本研究では,FM法における微細な空間的詳細の損失を補足する基本入力マスキング手法の検証と活用により補足する。
3つの公開ベンチマークの実験結果から、HMFSは現在の最先端手法よりも目に見えるマージンで優れていることが明らかになった。
論文 参考訳（メタデータ） (2022-03-24T03:07:20Z) - Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。
符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。
私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
論文 参考訳（メタデータ） (2021-04-28T13:17:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。