論文の概要: Localization Distillation for Object Detection

• arxiv url: http://arxiv.org/abs/2204.05957v1
• Date: Tue, 12 Apr 2022 17:14:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 14:27:06.716054
• Title: Localization Distillation for Object Detection
• Title（参考訳）: 物体検出のための局所蒸留
• Authors: Zhaohui Zheng, Rongguang Ye, Qibin Hou, Dongwei Ren, Ping Wang, Wangmeng Zuo, Ming-Ming Cheng
• Abstract要約: 物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。 本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。 われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
• 参考スコア（独自算出の注目度）: 134.12664548771534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous knowledge distillation (KD) methods for object detection mostly focus on feature imitation instead of mimicking the classification logits due to its inefficiency in distilling the localization information. In this paper, we investigate whether logit mimicking always lags behind feature imitation. Towards this goal, we first present a novel localization distillation (LD) method which can efficiently transfer the localization knowledge from the teacher to the student. Second, we introduce the concept of valuable localization region that can aid to selectively distill the classification and localization knowledge for a certain region. Combining these two new components, for the first time, we show that logit mimicking can outperform feature imitation and the absence of localization distillation is a critical reason for why logit mimicking underperforms for years. The thorough studies exhibit the great potential of logit mimicking that can significantly alleviate the localization ambiguity, learn robust feature representation, and ease the training difficulty in the early stage. We also provide the theoretical connection between the proposed LD and the classification KD, that they share the equivalent optimization effect. Our distillation scheme is simple as well as effective and can be easily applied to both dense horizontal object detectors and rotated object detectors. Extensive experiments on the MS COCO, PASCAL VOC, and DOTA benchmarks demonstrate that our method can achieve considerable AP improvement without any sacrifice on the inference speed. Our source code and pretrained models are publicly available at https://github.com/HikariTJU/LD.
• Abstract（参考訳）: 対象物検出のための従来の知識蒸留法(KD)は, ローカライゼーション情報の蒸留に不効率なため, 分類ロジットを模倣するのではなく, 特徴模倣に重点を置いている。 本稿では,ロジット模倣が常に特徴模倣に遅れているかどうかを検討する。 そこで本研究では,まず,教師から生徒へのローカライゼーション知識を効率的に伝達できる新しいローカライゼーション蒸留法(ld)を提案する。 第2に,特定の領域の分類と局所化の知識を選択的に蒸留する上で有用な局所化領域の概念を提案する。 これら2つの新成分を組み合わせることで,ロジット模倣が特徴的模倣より優れていること,ロージット模倣が長年にわたって低性能であった理由として,ロージットの蒸留が欠如していることが示唆された。 徹底的な研究は、ロジット模倣の大きな可能性を示し、局所化の曖昧さを著しく軽減し、堅牢な特徴表現を学習し、初期の訓練の難しさを緩和する。 また,提案するLDと分類KDとの間には等価な最適化効果があるという理論的関係も提供する。 蒸留方式は単純かつ効果的であり, 高密度水平物体検出器と回転物体検出器の両方に容易に適用できる。 MS COCO, PASCAL VOC, DOTAベンチマークの大規模実験により, 提案手法は推定速度を犠牲にすることなく, かなりのAP改善を達成できることを示した。 ソースコードと事前トレーニング済みモデルはhttps://github.com/hikaritju/ld.comから公開しています。

関連論文リスト

• Object-centric Cross-modal Feature Distillation for Event-based Object Detection [87.50272918262361]
  RGB検出器は、イベントデータのばらつきと視覚的詳細の欠如により、イベントベースの検出器よりも優れている。 これら2つのモード間の性能ギャップを縮めるための新しい知識蒸留手法を開発した。 対象中心蒸留により,イベントベースの学生物体検出装置の性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-11-09T16:33:08Z)
• Efficient Object Detection in Optical Remote Sensing Imagery via Attention-based Feature Distillation [29.821082433621868]
  本研究では,物体検出のための注意型特徴蒸留(AFD)を提案する。 本稿では,背景要素と前景要素を効果的に区別するマルチインスタンスアテンション機構を提案する。 AFDは、他の最先端モデルの性能を効率よく達成する。
  論文  参考訳（メタデータ） (2023-10-28T11:15:37Z)
• Bridging Cross-task Protocol Inconsistency for Distillation in Dense Object Detection [19.07452370081663]
  本研究では,高密度物体検出に適したクロスタスク一貫したプロトコルを用いた新しい蒸留法を提案する。 分類蒸留では,教師モデルと学生モデルの両方の分類ロジットマップを複数の二分分類マップとして定式化し,各地図に二分分類蒸留損失を適用した。 提案手法は単純だが有効であり,既存の手法よりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-08-28T03:57:37Z)
• Efficient Feature Distillation for Zero-shot Annotation Object Detection [12.116491963892821]
  我々はZAD(Zero-shot Object Detection)と呼ばれる未知の物体を検知するための新しい設定を提案する。 トレーニング画像に新しいオブジェクトが存在するようにすることで、ゼロショットオブジェクト検出設定を拡張する。 また、検出器が使用する追加情報を新しいカテゴリ名に制限する。
  論文  参考訳（メタデータ） (2023-03-21T19:02:36Z)
• Distilling Vision-Language Pre-training to Collaborate with Weakly-Supervised Temporal Action Localization [77.19173283023012]
  微弱に監督された時間的アクションローカライゼーションは、カテゴリラベルのみによるアクションインスタンスの検出と分類を学ぶ。 ほとんどの方法は、アクションローカライゼーションのためのビデオ特徴を生成するために、オフザシェルフ分類ベース事前訓練(CBP)を広く採用している。
  論文  参考訳（メタデータ） (2022-12-19T10:02:50Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Response-based Distillation for Incremental Object Detection [2.337183337110597]
  従来の物体検出は漸進的な学習には不適当である。 新しいデータのみを用いて、よく訓練された検出モデルを直接微調整することで、破滅的な忘れを招きます。 本研究では,検出境界ボックスからの学習応答と分類予測に着目した完全応答に基づくインクリメンタル蒸留法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T08:07:55Z)
• Localization Distillation for Object Detection [79.78619050578997]
  物体検出のためのローカライズ蒸留(LD)を提案する。 我々のldは、バウンディングボックスの一般局在表現を採用することで標準kdとして定式化することができる。 教師モデルと学生モデルとのギャップを埋めるための教師アシスタント(TA)戦略を提案します。
  論文  参考訳（メタデータ） (2021-02-24T12:26:21Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。