論文の概要: Knowledge Distillation from Single to Multi Labels: an Empirical Study

• arxiv url: http://arxiv.org/abs/2303.08360v1
• Date: Wed, 15 Mar 2023 04:39:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:45:52.962368
• Title: Knowledge Distillation from Single to Multi Labels: an Empirical Study
• Title（参考訳）: シングルラベルからマルチラベルへの知識蒸留 : 実証的研究
• Authors: Youcai Zhang, Yuzhuo Qin, Hengwei Liu, Yanhao Zhang, Yaqian Li, Xiaodong Gu
• Abstract要約: クラス活性化マップ(CAM)に基づく新しい蒸留法を提案する。 以上の結果から,ロジット法はマルチラベル分類に適していないことが示唆された。 そこで本研究では,適切な暗黒知識にクラス情報を導入し,最終分類結果と高い相関性を持たせることを提案する。
• 参考スコア（独自算出の注目度）: 14.12487391004319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) has been extensively studied in single-label image classification. However, its efficacy for multi-label classification remains relatively unexplored. In this study, we firstly investigate the effectiveness of classical KD techniques, including logit-based and feature-based methods, for multi-label classification. Our findings indicate that the logit-based method is not well-suited for multi-label classification, as the teacher fails to provide inter-category similarity information or regularization effect on student model's training. Moreover, we observe that feature-based methods struggle to convey compact information of multiple labels simultaneously. Given these limitations, we propose that a suitable dark knowledge should incorporate class-wise information and be highly correlated with the final classification results. To address these issues, we introduce a novel distillation method based on Class Activation Maps (CAMs), which is both effective and straightforward to implement. Across a wide range of settings, CAMs-based distillation consistently outperforms other methods.
• Abstract（参考訳）: 知識蒸留(KD)はシングルラベル画像分類において広く研究されている。 しかし,マルチラベル分類における有効性は比較的未解明である。 本研究では,まず,ロジットベースおよび特徴ベース手法を含む古典的KD手法のマルチラベル分類への応用について検討する。 本研究は,教師がクラス間類似性情報や正規化効果を学生モデルのトレーニングに提供できないため,ロジットに基づく手法がマルチラベル分類に適していないことを示唆している。 さらに,複数のラベルのコンパクトな情報を同時伝達する上で,特徴ベース手法が困難であることを示す。 これらの制約を考慮し、適切な暗黒知識は分類情報を取り入れ、最終分類結果と高い相関関係を持つべきである。 これらの課題に対処するために,クラス活性化マップ(CAM)に基づく新しい蒸留法を導入する。 幅広い設定で、camsベースの蒸留は一貫して他の方法を上回る。

関連論文リスト

• Collaborative Feature-Logits Contrastive Learning for Open-Set Semi-Supervised Object Detection [75.02249869573994]
  オープンセットのシナリオでは、ラベルなしデータセットには、イン・ディストリビューション(ID)クラスとアウト・オブ・ディストリビューション(OOD)クラスの両方が含まれている。 このような設定で半教師付き検出器を適用すると、OODクラスをIDクラスとして誤分類する可能性がある。 我々は、CFL-Detector(Collaborative Feature-Logits Detector)と呼ばれるシンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-11-20T02:57:35Z)
• Multi-Label Knowledge Distillation [86.03990467785312]
  本稿では,新しい多ラベル知識蒸留法を提案する。 一方、マルチラベル学習問題をバイナリ分類問題に分割することにより、ロジットからの情報的意味知識を利用する。 一方,ラベルワイド埋め込みの構造情報を活用することにより,学習した特徴表現の識別性を向上する。
  論文  参考訳（メタデータ） (2023-08-12T03:19:08Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• FLAG: Fast Label-Adaptive Aggregation for Multi-label Classification in Federated Learning [1.4280238304844592]
  本研究では,クラスタリングに基づくマルチラベルデータアロケーション(CMDA)と,新たな集約手法であるFast Label-Adaptive Aggregation(FLAG)を提案する。 実験の結果,我々の手法は,最先端のフェデレーション学習手法を超越するために,学習エポックとコミュニケーションラウンドの50%未満しか必要としないことがわかった。
  論文  参考訳（メタデータ） (2023-02-27T08:16:39Z)
• Class-aware Information for Logit-based Knowledge Distillation [16.634819319915923]
  そこで本研究では,ロジット蒸留をインスタンスレベルとクラスレベルの両方で拡張する,クラス対応ロジット知識蒸留法を提案する。 CLKDにより、教師モデルからより高度な意味情報を模倣し、蒸留性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T09:27:50Z)
• Multi-Faceted Distillation of Base-Novel Commonality for Few-shot Object Detection [58.48995335728938]
  基本クラスと新規クラスの間に3種類のクラスに依存しない共通点を明示的に学習する。 提案手法は,既存の微調整方式のほとんどに容易に統合でき,一貫した性能向上が期待できる。
  論文  参考訳（メタデータ） (2022-07-22T16:46:51Z)
• Self-Training: A Survey [5.772546394254112]
  半教師付きアルゴリズムは、ラベル付き観測の小さなセットとラベルなし観測の大きなセットから予測関数を学習することを目的としている。 近年,自己学習手法が注目されていることは確かである。 本稿では,バイナリクラスとマルチクラス分類のための自己学習手法と,その変種と関連する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-24T11:40:44Z)
• Multi-head Knowledge Distillation for Model Compression [65.58705111863814]
  そこで本研究では,中間層における特徴マッチングのための補助分類器を用いた簡易実装法を提案する。 提案手法は,本論文で提示された従来手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-05T00:49:14Z)
• Cooperative Bi-path Metric for Few-shot Learning [50.98891758059389]
  数発の分類問題の調査に2つの貢献をしている。 本稿では,従来の教師あり学習法において,ベースクラスで訓練されたシンプルで効果的なベースラインについて報告する。 本稿では, 基礎クラスと新しいクラス間の相関を利用して, 精度の向上を図る, 分類のための協調的二経路計量を提案する。
  論文  参考訳（メタデータ） (2020-08-10T11:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。