論文の概要: Re-examining Distillation For Continual Object Detection

• arxiv url: http://arxiv.org/abs/2204.01407v1
• Date: Mon, 4 Apr 2022 11:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 21:54:33.101519
• Title: Re-examining Distillation For Continual Object Detection
• Title（参考訳）: 連続物体検出のための再検討蒸留
• Authors: Eli Verwimp, Kuo Yang, Sarah Parisot, Hong Lanqing, Steven McDonagh, Eduardo P\'erez-Pellitero, Matthias De Lange and Tinne Tuytelaars
• Abstract要約: 我々は、なぜオブジェクト検出モデルが破滅的に忘れるのかを徹底的に分析する。 我々は,2段階ネットワークにおける蒸留に基づくアプローチに注目した。 提案手法が地域提案ネットワークに有効であることは明らかだが,教師の予測に過度に自信を持てば,学生モデルによる分類ヘッドの効果的な学習が妨げられる。
• 参考スコア（独自算出の注目度）: 33.95470797472666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training models continually to detect and classify objects, from new classes and new domains, remains an open problem. In this work, we conduct a thorough analysis of why and how object detection models forget catastrophically. We focus on distillation-based approaches in two-stage networks; the most-common strategy employed in contemporary continual object detection work.Distillation aims to transfer the knowledge of a model trained on previous tasks -- the teacher -- to a new model -- the student -- while it learns the new task. We show that this works well for the region proposal network, but that wrong, yet overly confident teacher predictions prevent student models from effective learning of the classification head. Our analysis provides a foundation that allows us to propose improvements for existing techniques by detecting incorrect teacher predictions, based on current ground-truth labels, and by employing an adaptive Huber loss as opposed to the mean squared error for the distillation loss in the classification heads. We evidence that our strategy works not only in a class incremental setting, but also in domain incremental settings, which constitute a realistic context, likely to be the setting of representative real-world problems.
• Abstract（参考訳）: 新しいクラスや新しいドメインからオブジェクトを検出し、分類するためのトレーニングモデルは、依然としてオープンな問題である。 本研究では,物体検出モデルが破滅的に忘れられる理由と方法の徹底的な分析を行う。 我々は,2段階ネットワークにおける蒸留に基づくアプローチ,現代連続物体検出作業で採用される最も一般的な戦略に着目し,新しい課題を学習しながら,従来の課題(教師)で訓練されたモデルの知識を新しいモデル(生徒)に伝達することを目的とする。 提案手法が地域提案ネットワークに有効であることは明らかだが,教師の予測に過度に自信を持てば,学生モデルによる分類ヘッドの効果的な学習が妨げられる。 本分析は,現在の接地ラベルに基づく不正確な教師予測の検出と,分類ヘッドの蒸留損失の平均二乗誤差とは対照的に適応的なフーバ損失を用いることにより,既存の手法の改善を提案する基礎を提供する。 私たちは、この戦略がクラスインクリメンタルな設定だけでなく、現実的なコンテキストを構成するドメインインクリメンタルな設定でも機能することを示しています。

関連論文リスト

• Decoupling the Class Label and the Target Concept in Machine Unlearning [81.69857244976123]
  機械学習の目的は、トレーニングデータの一部を除外した再トレーニングされたモデルを近似するために、トレーニングされたモデルを調整することだ。 過去の研究では、クラスワイド・アンラーニングが対象クラスの知識を忘れることに成功していることが示された。 我々は、TARget-aware Forgetting (TARF) という一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T14:53:30Z)
• Task Integration Distillation for Object Detectors [2.974025533366946]
  本稿では,分類作業と回帰作業の両方に対処する知識蒸留法を提案する。 検出器の2つのサブタスクの出力に基づいて特徴の重要性を評価する。 この方法は、モデルの学習現実に関するバイアス付き予測の問題を効果的に防止する。
  論文  参考訳（メタデータ） (2024-04-02T07:08:15Z)
• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• EvCenterNet: Uncertainty Estimation for Object Detection using Evidential Learning [26.535329379980094]
  EvCenterNetは、新しい不確実性を認識した2Dオブジェクト検出フレームワークである。 分類と回帰の不確実性の両方を推定するために、顕在的学習を用いる。 我々は、KITTIデータセット上でモデルをトレーニングし、配布外のデータセットに挑戦して評価する。
  論文  参考訳（メタデータ） (2023-03-06T11:07:11Z)
• TIDo: Source-free Task Incremental Learning in Non-stationary Environments [0.0]
  モデルベースのエージェントを更新して新しいターゲットタスクを学習するには、過去のトレーニングデータを格納する必要があります。 ラベル付きターゲットデータセットの制限を克服するタスクインクリメンタル学習手法はほとんどない。 本研究では,非定常的および目標的タスクに適応可能なワンショットタスクインクリメンタル学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-28T02:19:45Z)
• Bridging Non Co-occurrence with Unlabeled In-the-wild Data for Incremental Object Detection [56.22467011292147]
  物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。 有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。 そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
  論文  参考訳（メタデータ） (2021-10-28T10:57:25Z)
• Incrementally Zero-Shot Detection by an Extreme Value Analyzer [0.0]
  本稿では,実世界の物体検出におけるゼロショット学習とクラスインクリメンタル学習の両方のための新しい戦略を提案する。 本稿では,新しい極値解析器を提案し,古い見え方,新しい見え方,見えないクラスからオブジェクトを同時に検出する。 実験では, 対象物の検出におけるモデルの有効性を実証し, Pascal VOCおよびMSCOCOデータセット上での代替モデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-03-23T15:06:30Z)
• Open-set Short Utterance Forensic Speaker Verification using Teacher-Student Network with Explicit Inductive Bias [59.788358876316295]
  そこで本研究では,小規模の法定フィールドデータセット上での話者検証を改善するためのパイプラインソリューションを提案する。 大規模領域外データセットを活用することで,教師学習のための知識蒸留に基づく目的関数を提案する。 提案する目的関数は,短時間の発話における教師学生の学習性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2020-09-21T00:58:40Z)
• Lifelong Object Detection [28.608982224098565]
  私たちは、新しいトレーニングクラスが逐次的に到着し、モデルを漸進的に洗練するという事実を活用します。 我々は、高精度かつ効率的な予測のために、代表対象検出器であるFaster R-CNNを検討する。
  論文  参考訳（メタデータ） (2020-09-02T15:08:51Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。