論文の概要: Multi-Teacher Knowledge Distillation for Incremental Implicitly-Refined Classification

• arxiv url: http://arxiv.org/abs/2202.11384v2
• Date: Thu, 24 Feb 2022 07:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 12:48:17.223583
• Title: Multi-Teacher Knowledge Distillation for Incremental Implicitly-Refined Classification
• Title（参考訳）: インクリメンタル・インクリメンタルな分類のためのマルチ教師の知識蒸留
• Authors: Longhui Yu, Zhenyu Weng, Yuqing Wang, Yuesheng Zhu
• Abstract要約: インクリメンタルラーニングのためのMTKD(Multi-Teacher Knowledge Distillation)戦略を提案する。 超クラス知識の保存には、初期モデルをスーパークラス教師として利用し、学生モデルの超クラス知識を蒸留する。 本稿では、冗長な予測を減らすために、Top-k予測制限と呼ばれる後処理機構を提案する。
• 参考スコア（独自算出の注目度）: 37.14755431285735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incremental learning methods can learn new classes continually by distilling knowledge from the last model (as a teacher model) to the current model (as a student model) in the sequentially learning process. However, these methods cannot work for Incremental Implicitly-Refined Classification (IIRC), an incremental learning extension where the incoming classes could have two granularity levels, a superclass label and a subclass label. This is because the previously learned superclass knowledge may be occupied by the subclass knowledge learned sequentially. To solve this problem, we propose a novel Multi-Teacher Knowledge Distillation (MTKD) strategy. To preserve the subclass knowledge, we use the last model as a general teacher to distill the previous knowledge for the student model. To preserve the superclass knowledge, we use the initial model as a superclass teacher to distill the superclass knowledge as the initial model contains abundant superclass knowledge. However, distilling knowledge from two teacher models could result in the student model making some redundant predictions. We further propose a post-processing mechanism, called as Top-k prediction restriction to reduce the redundant predictions. Our experimental results on IIRC-ImageNet120 and IIRC-CIFAR100 show that the proposed method can achieve better classification accuracy compared with existing state-of-the-art methods.
• Abstract（参考訳）: インクリメンタルラーニング手法は、最終モデル(教師モデル)から現在のモデル(生徒モデル)への知識を逐次学習プロセスで蒸留することにより、新しいクラスを継続的に学習することができる。 しかし、これらの手法はインクリメンタルな暗黙的洗練分類(iirc)では機能しない。これはインクリメンタルな学習拡張であり、入ってくるクラスは2つの粒度レベル(スーパークラスラベルとサブクラスラベル)を持つことができる。 これは、事前学習されたスーパークラス知識が順次学習されたサブクラス知識によって占有される可能性があるためである。 そこで本研究では,MTKD(Multi-Teacher Knowledge Distillation)戦略を提案する。 サブクラス知識を保存するために,教師としての最後のモデルを用いて,学生モデルの知識を蒸留する。 超クラス知識を保存するため、初期モデルが豊富な超クラス知識を含んでいるため、スーパークラス知識を蒸留するためにスーパークラス教師として初期モデルを使用する。 しかし、2つの教師モデルから知識を蒸留すると、生徒モデルが冗長な予測をする可能性がある。 さらに,冗長予測を減らすため,top-k予測制限と呼ばれる後処理機構を提案する。 irc-imagenet120 と iirc-cifar100 の実験結果から,本手法は既存の手法と比較して精度が向上した。

関連論文リスト

• Towards Non-Exemplar Semi-Supervised Class-Incremental Learning [33.560003528712414]
  クラス増分学習は、古いクラスの識別性を保ちながら、新しいクラスを徐々に認識することを目的としている。 コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を用いた非経験的半教師付きCILフレームワークを提案する。 Semi-IPCは教師なしの正規化で各クラスのプロトタイプを学習し、部分的にラベル付けされた新しいデータからモデルを漸進的に学習することを可能にする。
  論文  参考訳（メタデータ） (2024-03-27T06:28:19Z)
• AD-KD: Attribution-Driven Knowledge Distillation for Language Model Compression [26.474962405945316]
  本稿では,事前学習言語モデルを圧縮するための新しい帰属駆動型知識蒸留手法を提案する。 モデル推論と一般化の知識伝達を強化するため,教師のすべての潜在的判断に対する多視点帰属蒸留について検討する。
  論文  参考訳（メタデータ） (2023-05-17T07:40:12Z)
• Self-distilled Knowledge Delegator for Exemplar-free Class Incremental Learning [39.69318045176051]
  我々は,従来訓練されていた分類モデルに符号化された知識を活用し,連続学習における破滅的な忘れの問題に対処する。 具体的には,情報的サンプルを生成することによって,訓練されたモデルからランダムに再生成された新しいモデルに知識を伝達できる知識デリゲータを提案する。 この単純なインクリメンタル学習フレームワークは、広く使われている4つのクラスインクリメンタルベンチマークにおいて、既存の例のないメソッドをはるかに上回っている。
  論文  参考訳（メタデータ） (2022-05-23T06:31:13Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Discriminative Distillation to Reduce Class Confusion in Continual Learning [57.715862676788156]
  クラス混乱は、連続学習における分類性能の低下に寄与する。 本稿では,クラス間の識別的特徴を適切に学習する上で,識別的蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-11T12:46:43Z)
• Dual-Teacher Class-Incremental Learning With Data-Free Generative Replay [49.691610143011566]
  クラスインクリメンタルラーニング(CIL)のための2つの新しい知識伝達手法を提案する。 まず,データフリーな生成リプレイ(DF-GR)を提案し,生成モデルからの合成サンプルを用いてCILの破滅的忘れを緩和する。 第2に,2人の教師から1人の生徒に知識蒸留を行うための2つの教員情報蒸留(DT-ID)を導入する。
  論文  参考訳（メタデータ） (2021-06-17T22:13:15Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)
• Towards Class-incremental Object Detection with Nearest Mean of Exemplars [5.546052390414686]
  インクリメンタルラーニングは、ディープラーニングモデルのパラメータや構造を変更して、モデルが新しい知識を学習しながら古い知識を忘れないようにする。 本稿では,プロトタイプベクトルを同定し,ベクトルの距離を増大させることによりモデルのパラメータを調整するインクリメンタル手法を提案する。
  論文  参考訳（メタデータ） (2020-08-19T08:56:04Z)
• Subclass Distillation [94.18870689772544]
  本研究では,教師の一般化能力のほとんどを学生に転移させることが可能であることを示す。 既知の、自然なサブクラスが存在するデータセットに対して、教師が同様のサブクラスを学ぶことを示す。 サブクラスが不明なクリックスルーデータセットの場合、サブクラス蒸留により、学生はより速く、より良く学習できることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。