論文の概要: Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation

• arxiv url: http://arxiv.org/abs/2308.09105v1
• Date: Thu, 17 Aug 2023 17:17:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 15:57:08.140269
• Title: Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation
• Title（参考訳）: マルチテラープログレッシブ蒸留による軽量物体検出器の学習
• Authors: Shengcao Cao, Mengtian Li, James Hays, Deva Ramanan, Yi-Xiong Wang, Liang-Yan Gui
• Abstract要約: 本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
• 参考スコア（独自算出の注目度）: 56.053397775016755
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Resource-constrained perception systems such as edge computing and vision-for-robotics require vision models to be both accurate and lightweight in computation and memory usage. While knowledge distillation is a proven strategy to enhance the performance of lightweight classification models, its application to structured outputs like object detection and instance segmentation remains a complicated task, due to the variability in outputs and complex internal network modules involved in the distillation process. In this paper, we propose a simple yet surprisingly effective sequential approach to knowledge distillation that progressively transfers the knowledge of a set of teacher detectors to a given lightweight student. To distill knowledge from a highly accurate but complex teacher model, we construct a sequence of teachers to help the student gradually adapt. Our progressive strategy can be easily combined with existing detection distillation mechanisms to consistently maximize student performance in various settings. To the best of our knowledge, we are the first to successfully distill knowledge from Transformer-based teacher detectors to convolution-based students, and unprecedentedly boost the performance of ResNet-50 based RetinaNet from 36.5% to 42.0% AP and Mask R-CNN from 38.2% to 42.5% AP on the MS COCO benchmark.
• Abstract（参考訳）: エッジコンピューティングやビジョン・フォー・ロボティクスのようなリソース制約付き知覚システムは、計算とメモリ使用において正確かつ軽量なビジョンモデルを必要とする。 知識蒸留は、軽量な分類モデルの性能を高めるための実証済みの戦略であるが、そのオブジェクト検出やインスタンスセグメンテーションのような構造化アウトプットへの応用は、蒸留プロセスに関わる出力や複雑な内部ネットワークモジュールの変化のために、依然として複雑なタスクである。 本稿では,教師検出器の知識を与えられた軽量な学生に段階的に伝達する,知識蒸留のシンプルかつ驚くほど効果的なシーケンシャルアプローチを提案する。 高度に正確だが複雑な教師モデルから知識を抽出するために,学生が徐々に適応するのに役立つ一連の教師を構築した。 進歩的戦略は, 既存の検出蒸留機構と容易に組み合わせることで, 様々な場面において, 学生のパフォーマンスを一貫して最大化することができる。 我々の知る限り、私たちはTransformerベースの教師検出器から、畳み込みベースの学生に初めて知識を抽出し、ResNet-50ベースのRetinaNetを36.5%から42.0%に、Mask R-CNNを38.2%から42.5%に改善した。

関連論文リスト

• CLIP-CID: Efficient CLIP Distillation via Cluster-Instance Discrimination [28.061239778773423]
  CLIP(Contrastive Language- Image Pre-Training)は、幅広いタスクにおいて優れたパフォーマンスを実現している。 CLIPは事前学習データのかなりのコーパスに大きく依存しており、計算資源を消費している。 CLIP-CID(CLIP-CID)は,大規模視覚言語基礎モデルからより小さなモデルへ知識を効果的に伝達する蒸留機構である。
  論文  参考訳（メタデータ） (2024-08-18T11:23:21Z)
• Teaching with Uncertainty: Unleashing the Potential of Knowledge Distillation in Object Detection [47.0507287491627]
  本稿では,物体検出のための知識の不確実性を考慮した特徴量に基づく蒸留パラダイムを提案する。 モンテカルロのドロップアウト手法を利用して,学生モデルの学習過程に知識の不確実性を導入する。 本手法は,複雑な構造や計算資源を必要とせずに,KDプロセス中に効果的に機能する。
  論文  参考訳（メタデータ） (2024-06-11T06:51:02Z)
• TSCM: A Teacher-Student Model for Vision Place Recognition Using Cross-Metric Knowledge Distillation [6.856317526681759]
  視覚的位置認識は、移動ロボットの自律的な探索とナビゲーションにおいて重要な役割を果たす。 既存の手法では、強力だが大規模なネットワークを利用することでこれを克服している。 本稿では,TSCMと呼ばれる高性能な教師と軽量な学生蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-02T02:29:41Z)
• Instance-Conditional Knowledge Distillation for Object Detection [59.56780046291835]
  所望の知識を求めるために,インスタンス条件蒸留フレームワークを提案する。 我々は、観測されたインスタンスを条件情報として使用し、検索プロセスをインスタンス条件の復号プロセスとして定式化する。
  論文  参考訳（メタデータ） (2021-10-25T08:23:29Z)
• Distilling Image Classifiers in Object Detectors [81.63849985128527]
  本研究では, 物体検出の事例について検討し, 標準検出器-検出器蒸留法に従わず, 分類器-検出器間知識伝達フレームワークを導入する。 特に,検知器の認識精度とローカライゼーション性能を両立させるため,分類教師を利用する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-09T16:50:10Z)
• Distilling Object Detectors via Decoupled Features [69.62967325617632]
  より優れた学生検出器を学習するための,デカップリング機能(DeFeat)を用いた新しい蒸留アルゴリズムを提案する。 バックボーンの異なる様々な検出器を用いた実験により, 提案手法の破れが, 被写体検出の最先端蒸留法を上回ることができることを示した。
  論文  参考訳（メタデータ） (2021-03-26T13:58:49Z)
• General Instance Distillation for Object Detection [12.720908566642812]
  RetinaNet with ResNet-50は、データセット上のGIDによるmAPで39.1%を達成し、ベースライン36.2%を2.9%上回り、さらに38.1%APを持つResNet-101ベースの教師モデルよりも優れています。
  論文  参考訳（メタデータ） (2021-03-03T11:41:26Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。