論文の概要: Subclass Knowledge Distillation with Known Subclass Labels
- arxiv url: http://arxiv.org/abs/2207.08063v1
- Date: Sun, 17 Jul 2022 03:14:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 19:10:13.058528
- Title: Subclass Knowledge Distillation with Known Subclass Labels
- Title(参考訳): 既知のサブクラスラベルを用いたサブクラス知識蒸留
- Authors: Ahmad Sajedi, Yuri A. Lawryshyn, Konstantinos N. Plataniotis
- Abstract要約: サブクラス知識蒸留 (Subclass Knowledge Distillation, SKD) は、予測されたサブクラスの知識を教師からより小さな学生に伝達するプロセスである。
SKDフレームワークで訓練された軽量で低複雑さの学生は、85.05%のF1スコア、1.47%の改善、そして従来の知識蒸留なしで訓練された学生よりも2.10%向上した。
- 参考スコア(独自算出の注目度): 28.182027210008656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work introduces a novel knowledge distillation framework for
classification tasks where information on existing subclasses is available and
taken into consideration. In classification tasks with a small number of
classes or binary detection, the amount of information transferred from the
teacher to the student is restricted, thus limiting the utility of knowledge
distillation. Performance can be improved by leveraging information of possible
subclasses within the classes. To that end, we propose the so-called Subclass
Knowledge Distillation (SKD), a process of transferring the knowledge of
predicted subclasses from a teacher to a smaller student. Meaningful
information that is not in the teacher's class logits but exists in subclass
logits (e.g., similarities within classes) will be conveyed to the student
through the SKD, which will then boost the student's performance. Analytically,
we measure how much extra information the teacher can provide the student via
the SKD to demonstrate the efficacy of our work. The framework developed is
evaluated in clinical application, namely colorectal polyp binary
classification. It is a practical problem with two classes and a number of
subclasses per class. In this application, clinician-provided annotations are
used to define subclasses based on the annotation label's variability in a
curriculum style of learning. A lightweight, low-complexity student trained
with the SKD framework achieves an F1-score of 85.05%, an improvement of 1.47%,
and a 2.10% gain over the student that is trained with and without conventional
knowledge distillation, respectively. The 2.10% F1-score gap between students
trained with and without the SKD can be explained by the extra subclass
knowledge, i.e., the extra 0.4656 label bits per sample that the teacher can
transfer in our experiment.
- Abstract(参考訳): 本研究は,既存のサブクラスに関する情報が利用可能で考慮されているタスクを分類するための新しい知識蒸留フレームワークを提案する。
クラス数が少ないクラスやバイナリ検出の分類タスクでは、教師から生徒に転送される情報の量を制限するため、知識蒸留の有用性が制限される。
クラス内で可能なサブクラスの情報を活用することで、パフォーマンスを改善することができる。
そこで本研究では,教師から小学生に予測されるサブクラスの知識を伝達するプロセスである,いわゆるサブクラス知識蒸留(skd)を提案する。
教師のクラスロジットにはないが、サブクラスロジット(例えばクラス内の類似点)に存在する意味のある情報は、SKDを通じて生徒に伝達され、生徒のパフォーマンスが向上する。
分析的に,教師がSKDを介して学生に提供できる余分な情報量を測定し,その効果を実証する。
本発明の枠組みは臨床応用、すなわち大腸ポリープ二分分類において評価される。
これは2つのクラスとクラスごとに複数のサブクラスで実践的な問題である。
本アプリケーションでは, 臨床医が提供したアノテーションを用いて, 学習のカリキュラムスタイルにおけるアノテーションラベルの変動性に基づいたサブクラスを定義できる。
SKDフレームワークで訓練された軽量で低複雑さの学生は、85.05%のF1スコア、1.47%の改善、そして従来の知識蒸留なしで訓練された学生よりも2.10%向上した。
skdの訓練を受けた学生と学生の間の2.10%のf1-scoreギャップは、追加のサブクラス知識、すなわち実験で教師が転送できるサンプルあたりの0.04656ラベルビットによって説明できる。
関連論文リスト
- Linear Projections of Teacher Embeddings for Few-Class Distillation [14.99228980898161]
知識蒸留(KD)は、より大規模で複雑な教師モデルからより小さな学生モデルへ知識を移行するための有望なアプローチとして登場した。
学習埋め込み線形射影(LELP)と呼ばれる教師のモデル表現から知識を抽出する新しい手法を提案する。
Amazon ReviewsやSentiment140のような大規模NLPベンチマークの実験的な評価では、LELPはバイナリや少数クラスの問題に対する既存の最先端蒸留アルゴリズムと一貫して競合し、典型的には優れていることが示されている。
論文 参考訳(メタデータ) (2024-09-30T16:07:34Z) - Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳(メタデータ) (2024-03-24T12:41:58Z) - Knowledge Distillation Layer that Lets the Student Decide [6.689381216751284]
2つの異なる能力でKDを改善する学習可能なKD層を提案する。
一 教師の知識の活用の仕方を学び、ニュアンス情報を破棄し、及び、伝達された知識をより深めていくこと。
論文 参考訳(メタデータ) (2023-09-06T09:05:03Z) - Multi-Label Knowledge Distillation [86.03990467785312]
本稿では,新しい多ラベル知識蒸留法を提案する。
一方、マルチラベル学習問題をバイナリ分類問題に分割することにより、ロジットからの情報的意味知識を利用する。
一方,ラベルワイド埋め込みの構造情報を活用することにより,学習した特徴表現の識別性を向上する。
論文 参考訳(メタデータ) (2023-08-12T03:19:08Z) - Active Teacher for Semi-Supervised Object Detection [80.10937030195228]
半教師対象検出(SSOD)のための能動教師と呼ばれる新しいアルゴリズムを提案する。
Active Teacherは、教師/学生のフレームワークを反復的なバージョンに拡張し、ラベルセットを部分的に段階的に拡張し、ラベルなし例の3つの重要な要素を評価する。
この設計により、Active Teacherは、擬似ラベルの品質を改善しながら、限られたラベル情報の効果を最大化することができる。
論文 参考訳(メタデータ) (2023-03-15T03:59:27Z) - Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。
問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。
我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
論文 参考訳(メタデータ) (2022-05-13T15:15:27Z) - Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。
知識蒸留は教師から知識を抽出し、対象モデルと統合する。
教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
論文 参考訳(メタデータ) (2022-05-04T06:49:47Z) - Multi-Teacher Knowledge Distillation for Incremental Implicitly-Refined
Classification [37.14755431285735]
インクリメンタルラーニングのためのMTKD(Multi-Teacher Knowledge Distillation)戦略を提案する。
超クラス知識の保存には、初期モデルをスーパークラス教師として利用し、学生モデルの超クラス知識を蒸留する。
本稿では、冗長な予測を減らすために、Top-k予測制限と呼ばれる後処理機構を提案する。
論文 参考訳(メタデータ) (2022-02-23T09:51:40Z) - On the Efficiency of Subclass Knowledge Distillation in Classification
Tasks [33.1278647424578]
サブクラス知識蒸留 (Subclass Knowledge Distillation, SKD) フレームワークは、サブクラスの予測知識を大きな教師モデルからより小さな学生モデルに転送するプロセスである。
このフレームワークは臨床応用、すなわち大腸ポリープバイナリー分類で評価される。
提案されたフレームワークで訓練された軽量で低複雑性の学生は、85.05%のF1スコアを獲得し、2.14%と1.49%のアップを得た。
論文 参考訳(メタデータ) (2021-09-12T19:04:44Z) - Subclass Distillation [94.18870689772544]
本研究では,教師の一般化能力のほとんどを学生に転移させることが可能であることを示す。
既知の、自然なサブクラスが存在するデータセットに対して、教師が同様のサブクラスを学ぶことを示す。
サブクラスが不明なクリックスルーデータセットの場合、サブクラス蒸留により、学生はより速く、より良く学習できることを示す。
論文 参考訳(メタデータ) (2020-02-10T16:45:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。