論文の概要: Focal and Global Knowledge Distillation for Detectors

• arxiv url: http://arxiv.org/abs/2111.11837v1
• Date: Tue, 23 Nov 2021 13:04:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 15:24:54.966091
• Title: Focal and Global Knowledge Distillation for Detectors
• Title（参考訳）: 検知器の音声・グローバル知識蒸留
• Authors: Zhendong Yang, Zhe Li, Xiaohu Jiang, Yuan Gong, Zehuan Yuan, Danpei Zhao, Chun Yuan
• Abstract要約: オブジェクト検出のためのFGD(Focal and Global Distillation)を提案する。 FGDは前景と背景を分離し、生徒は教師の批判的なピクセルやチャンネルに集中せざるを得ない。 提案手法は特徴写像上の損失のみを計算する必要があるため,FGDを様々な検出器に適用することができる。
• 参考スコア（独自算出の注目度）: 23.315649744061982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation has been applied to image classification successfully. However, object detection is much more sophisticated and most knowledge distillation methods have failed on it. In this paper, we point out that in object detection, the features of the teacher and student vary greatly in different areas, especially in the foreground and background. If we distill them equally, the uneven differences between feature maps will negatively affect the distillation. Thus, we propose Focal and Global Distillation (FGD). Focal distillation separates the foreground and background, forcing the student to focus on the teacher's critical pixels and channels. Global distillation rebuilds the relation between different pixels and transfers it from teachers to students, compensating for missing global information in focal distillation. As our method only needs to calculate the loss on the feature map, FGD can be applied to various detectors. We experiment on various detectors with different backbones and the results show that the student detector achieves excellent mAP improvement. For example, ResNet-50 based RetinaNet, Faster RCNN, RepPoints and Mask RCNN with our distillation method achieve 40.7%, 42.0%, 42.0% and 42.1% mAP on COCO2017, which are 3.3, 3.6, 3.4 and 2.9 higher than the baseline, respectively. Our codes are available at https://github.com/yzd-v/FGD.
• Abstract（参考訳）: 知識蒸留は画像分類にうまく適用されている。 しかし、物体検出はより高度であり、ほとんどの知識蒸留法は失敗している。 本稿では,対象物検出において,教師と生徒の特徴は,特に前景と背景において,異なる領域で大きく異なることを指摘する。 等しく蒸留すると、特徴写像間の不均一な差異が蒸留に悪影響を及ぼす。 そこで我々はFocal and Global Distillation (FGD)を提案する。 焦点蒸留は前景と背景を分離し、生徒は教師の批判的なピクセルとチャンネルに集中する。 グローバル蒸留は異なるピクセル間の関係を再構築し、教師から生徒に転送し、焦点蒸留におけるグローバル情報の欠如を補償する。 本手法は特徴マップ上の損失を計算するだけでよいので,fgdは様々な検出器に適用できる。 背骨の異なる各種検出器を実験した結果,学生検出装置は優れた地図改善を達成できた。 例えば、ResNet-50ベースのRetinaNet、Faster RCNN、RepPoints、Mask RCNNの蒸留法では、COCO2017の40.7%、42.0%、42.0%、42.1% mAPがそれぞれベースラインよりも3.3、3.6、3.4、および2.9高い。 私たちのコードはhttps://github.com/yzd-v/fgdで利用可能です。

関連論文リスト

• What is Left After Distillation? How Knowledge Transfer Impacts Fairness and Bias [1.03590082373586]
  クラスの41%は、クラス単位の精度を比較する際に、蒸留によって統計的に有意な影響を受けている。 本研究は, あるクラスに対する知識蒸留の不均一な影響と, その公正性における潜在的役割を明らかにする。
  論文  参考訳（メタデータ） (2024-10-10T22:43:00Z)
• Self-Supervised Keypoint Detection with Distilled Depth Keypoint Representation [0.8136541584281987]
  Distill-DKPは,キーポイント検出のためのクロスモーダルな知識蒸留フレームワークである。 Distill-DKPは、深度に基づく教師モデルから埋め込みレベルの知識を抽出し、画像に基づく学生モデルを指導する。 実験により、Distill-DKPは従来の教師なし手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2024-10-04T22:14:08Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• Dual Relation Knowledge Distillation for Object Detection [7.027174952925931]
  画素ワイド関係蒸留はグラフ空間に画素ワイド特徴を埋め込み、グラフ畳み込みを適用してグローバルな画素関係を捉える。 インスタンス関係蒸留を設計し、異なるインスタンスの類似性を計算し、関係行列を得る。 提案手法は,ResNet50に基づく高速R-CNNを38.4%から41.6%に改善した最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-11T09:38:53Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefficient [18.782520279344553]
  この論文は、異種教師検出器によるFPNの優れた特徴が学生の助けとなることを実証的に見出した。 そこで本研究では,教師の関連情報に焦点を合わせるために,ピアソン相関係数を用いた特徴の模倣を提案する。 提案手法は,既存の検出KD法より常に優れており,同質・異質な学生・教師のペアに対しても有効である。
  論文  参考訳（メタデータ） (2022-07-05T13:37:34Z)
• G-DetKD: Towards General Distillation Framework for Object Detectors via Contrastive and Semantic-guided Feature Imitation [49.421099172544196]
  そこで本研究では,すべてのピラミッドレベルにまたがる特徴ペア間のソフトマッチングを自動的に行う,意味誘導型特徴模倣手法を提案する。 また,異なる特徴領域間の関係で符号化された情報を効果的に捉えるために,コントラスト蒸留を導入する。 本手法は,(1)フレームワークのコンポーネントを別々に使用した場合に,既存の検出KD技術よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2021-08-17T07:44:27Z)
• Distilling Object Detectors via Decoupled Features [69.62967325617632]
  より優れた学生検出器を学習するための,デカップリング機能(DeFeat)を用いた新しい蒸留アルゴリズムを提案する。 バックボーンの異なる様々な検出器を用いた実験により, 提案手法の破れが, 被写体検出の最先端蒸留法を上回ることができることを示した。
  論文  参考訳（メタデータ） (2021-03-26T13:58:49Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)
• Why distillation helps: a statistical perspective [69.90148901064747]
  知識蒸留は、単純な「学生」モデルの性能を向上させる技術である。 この単純なアプローチは広く有効であることが証明されているが、基本的な問題は未解決のままである。 蒸留が既存の負の鉱業技術をどのように補完し, 極端に多層的検索を行うかを示す。
  論文  参考訳（メタデータ） (2020-05-21T01:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。