論文の概要: Knowledge Distillation from Single to Multi Labels: an Empirical Study

• arxiv url: http://arxiv.org/abs/2303.08360v1
• Date: Wed, 15 Mar 2023 04:39:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:45:52.962368
• Title: Knowledge Distillation from Single to Multi Labels: an Empirical Study
• Title（参考訳）: シングルラベルからマルチラベルへの知識蒸留 : 実証的研究
• Authors: Youcai Zhang, Yuzhuo Qin, Hengwei Liu, Yanhao Zhang, Yaqian Li, Xiaodong Gu
• Abstract要約: クラス活性化マップ(CAM)に基づく新しい蒸留法を提案する。 以上の結果から,ロジット法はマルチラベル分類に適していないことが示唆された。 そこで本研究では,適切な暗黒知識にクラス情報を導入し,最終分類結果と高い相関性を持たせることを提案する。
• 参考スコア（独自算出の注目度）: 14.12487391004319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) has been extensively studied in single-label image classification. However, its efficacy for multi-label classification remains relatively unexplored. In this study, we firstly investigate the effectiveness of classical KD techniques, including logit-based and feature-based methods, for multi-label classification. Our findings indicate that the logit-based method is not well-suited for multi-label classification, as the teacher fails to provide inter-category similarity information or regularization effect on student model's training. Moreover, we observe that feature-based methods struggle to convey compact information of multiple labels simultaneously. Given these limitations, we propose that a suitable dark knowledge should incorporate class-wise information and be highly correlated with the final classification results. To address these issues, we introduce a novel distillation method based on Class Activation Maps (CAMs), which is both effective and straightforward to implement. Across a wide range of settings, CAMs-based distillation consistently outperforms other methods.
• Abstract（参考訳）: 知識蒸留(KD)はシングルラベル画像分類において広く研究されている。 しかし,マルチラベル分類における有効性は比較的未解明である。 本研究では,まず,ロジットベースおよび特徴ベース手法を含む古典的KD手法のマルチラベル分類への応用について検討する。 本研究は,教師がクラス間類似性情報や正規化効果を学生モデルのトレーニングに提供できないため,ロジットに基づく手法がマルチラベル分類に適していないことを示唆している。 さらに,複数のラベルのコンパクトな情報を同時伝達する上で,特徴ベース手法が困難であることを示す。 これらの制約を考慮し、適切な暗黒知識は分類情報を取り入れ、最終分類結果と高い相関関係を持つべきである。 これらの課題に対処するために,クラス活性化マップ(CAM)に基づく新しい蒸留法を導入する。 幅広い設定で、camsベースの蒸留は一貫して他の方法を上回る。

関連論文リスト

• Class-aware Information for Logit-based Knowledge Distillation [16.634819319915923]
  そこで本研究では,ロジット蒸留をインスタンスレベルとクラスレベルの両方で拡張する,クラス対応ロジット知識蒸留法を提案する。 CLKDにより、教師モデルからより高度な意味情報を模倣し、蒸留性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T09:27:50Z)
• Multi-Faceted Distillation of Base-Novel Commonality for Few-shot Object Detection [58.48995335728938]
  基本クラスと新規クラスの間に3種類のクラスに依存しない共通点を明示的に学習する。 提案手法は,既存の微調整方式のほとんどに容易に統合でき,一貫した性能向上が期待できる。
  論文  参考訳（メタデータ） (2022-07-22T16:46:51Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [75.59791764353459]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Can multi-label classification networks know what they don't know? [20.827128594812578]
  アウト・オブ・ディストリビューション(OOD)の不確実性(out-of-distriion)を推定することは、機械学習モデルをオープンな環境に安全にデプロイする上で、重要な課題である。 複数ラベルからのエネルギースコアを集約することにより,OODインジケータのスコアを簡易かつ効果的に推定するJointEnergyを提案する。 提案手法はMS-COCO, PASCAL-VOC, NUS-WIDEを含む3つの共通マルチラベル分類ベンチマークにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-29T03:03:52Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Positive-Unlabeled Classification under Class-Prior Shift: A Prior-invariant Approach Based on Density Ratio Estimation [85.75352990739154]
  密度比推定に基づく新しいPU分類法を提案する。 提案手法の顕著な利点は、訓練段階においてクラスプライヤを必要としないことである。
  論文  参考訳（メタデータ） (2021-07-11T13:36:53Z)
• Similarity Transfer for Knowledge Distillation [25.042405967561212]
  知識蒸留は、大きなモデルから小さなモデルに知識を移すことで、ポータブルニューラルネットワークを学ぶための一般的なパラダイムである。 本稿では,複数試料のカテゴリ間の類似性を十分に活用することを目的とした,知識蒸留のための類似性伝達法(stkd)を提案する。 その結果, stkdはバニラ知識蒸留法を実質的に上回り, 最先端知識蒸留法よりも精度が高かった。
  論文  参考訳（メタデータ） (2021-03-18T06:54:59Z)
• Multi-head Knowledge Distillation for Model Compression [65.58705111863814]
  そこで本研究では,中間層における特徴マッチングのための補助分類器を用いた簡易実装法を提案する。 提案手法は,本論文で提示された従来手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-05T00:49:14Z)
• Cooperative Bi-path Metric for Few-shot Learning [50.98891758059389]
  数発の分類問題の調査に2つの貢献をしている。 本稿では,従来の教師あり学習法において,ベースクラスで訓練されたシンプルで効果的なベースラインについて報告する。 本稿では, 基礎クラスと新しいクラス間の相関を利用して, 精度の向上を図る, 分類のための協調的二経路計量を提案する。
  論文  参考訳（メタデータ） (2020-08-10T11:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。