論文の概要: Overcoming Catastrophic Forgetting in Incremental Object Detection via Elastic Response Distillation

• arxiv url: http://arxiv.org/abs/2204.02136v1
• Date: Tue, 5 Apr 2022 11:57:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 18:49:19.417076
• Title: Overcoming Catastrophic Forgetting in Incremental Object Detection via Elastic Response Distillation
• Title（参考訳）: 弾性応答蒸留によるインクリメンタル物体検出における破滅的予測の克服
• Authors: Tao Feng, Mang Wang, Hangjie Yuan
• Abstract要約: 従来の物体検出器は漸進的な学習には不適当である。 新しいデータのみを用いて、よく訓練された検出モデルを直接微調整することで、破滅的な忘れを招きます。 弾性応答蒸留(ERD)と呼ばれる応答型漸進蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 4.846235640334886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional object detectors are ill-equipped for incremental learning. However, fine-tuning directly on a well-trained detection model with only new data will lead to catastrophic forgetting. Knowledge distillation is a flexible way to mitigate catastrophic forgetting. In Incremental Object Detection (IOD), previous work mainly focuses on distilling for the combination of features and responses. However, they under-explore the information that contains in responses. In this paper, we propose a response-based incremental distillation method, dubbed Elastic Response Distillation (ERD), which focuses on elastically learning responses from the classification head and the regression head. Firstly, our method transfers category knowledge while equipping student detector with the ability to retain localization information during incremental learning. In addition, we further evaluate the quality of all locations and provide valuable responses by the Elastic Response Selection (ERS) strategy. Finally, we elucidate that the knowledge from different responses should be assigned with different importance during incremental distillation. Extensive experiments conducted on MS COCO demonstrate our method achieves state-of-the-art result, which substantially narrows the performance gap towards full training.
• Abstract（参考訳）: 従来のオブジェクト検出器はインクリメンタル学習に不備がある。 しかし、新しいデータのみを訓練された検出モデルで直接微調整すると、破滅的な忘れることになる。 知識蒸留は壊滅的な忘れを和らげる柔軟な方法である。 インクリメンタルオブジェクト検出(iod)において、以前の研究は主に機能と応答の組み合わせの蒸留に焦点を当てている。 しかし、応答に含まれる情報を過小評価している。 本稿では,erd(elastic response distillation)と呼ばれる,分類ヘッドと回帰ヘッドからの弾性学習応答に着目した,応答ベースの漸進蒸留法を提案する。 まず,インクリメンタル学習中に,学生検出器に位置情報を保持する能力を持たせながら,カテゴリー知識を伝達する。 さらに,すべての場所の質を評価し,ERS(Elastic Response Selection)戦略による貴重な応答を提供する。 最後に,増分蒸留中に異なる応答からの知識を異なる重要性で割り当てるべきであることを解明した。 MS COCOを用いた大規模な実験により,本手法は最先端の成果を達成し,フルトレーニングに向けた性能ギャップを大幅に狭めることができた。

関連論文リスト

• Task Integration Distillation for Object Detectors [2.974025533366946]
  本稿では,分類作業と回帰作業の両方に対処する知識蒸留法を提案する。 検出器の2つのサブタスクの出力に基づいて特徴の重要性を評価する。 この方法は、モデルの学習現実に関するバイアス付き予測の問題を効果的に防止する。
  論文  参考訳（メタデータ） (2024-04-02T07:08:15Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
  本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。 本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
  論文  参考訳（メタデータ） (2022-05-10T15:39:11Z)
• Localization Distillation for Object Detection [134.12664548771534]
  物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。 本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。 われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
  論文  参考訳（メタデータ） (2022-04-12T17:14:34Z)
• Response-based Distillation for Incremental Object Detection [2.337183337110597]
  従来の物体検出は漸進的な学習には不適当である。 新しいデータのみを用いて、よく訓練された検出モデルを直接微調整することで、破滅的な忘れを招きます。 本研究では,検出境界ボックスからの学習応答と分類予測に着目した完全応答に基づくインクリメンタル蒸留法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T08:07:55Z)
• SID: Incremental Learning for Anchor-Free Object Detection via Selective and Inter-Related Distillation [16.281712605385316]
  増分学習は、ストリーミングデータから新しいタスクを継続的に学習するモデルを必要とする。 新しいタスクでよく訓練されたディープニューラルネットワークの従来の微調整は、古いタスクのパフォーマンスを劇的に低下させる。 SID(Selective and Inter-related Distillation)と呼ばれる新しい漸進的学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T04:12:06Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。