論文の概要: Multi-Label Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2308.06453v1
• Date: Sat, 12 Aug 2023 03:19:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 17:12:39.257135
• Title: Multi-Label Knowledge Distillation
• Title（参考訳）: マルチラベル知識蒸留
• Authors: Penghui Yang, Ming-Kun Xie, Chen-Chen Zong, Lei Feng, Gang Niu, Masashi Sugiyama, Sheng-Jun Huang
• Abstract要約: 本稿では,新しい多ラベル知識蒸留法を提案する。 一方、マルチラベル学習問題をバイナリ分類問題に分割することにより、ロジットからの情報的意味知識を利用する。 一方,ラベルワイド埋め込みの構造情報を活用することにより,学習した特徴表現の識別性を向上する。
• 参考スコア（独自算出の注目度）: 86.03990467785312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing knowledge distillation methods typically work by imparting the knowledge of output logits or intermediate feature maps from the teacher network to the student network, which is very successful in multi-class single-label learning. However, these methods can hardly be extended to the multi-label learning scenario, where each instance is associated with multiple semantic labels, because the prediction probabilities do not sum to one and feature maps of the whole example may ignore minor classes in such a scenario. In this paper, we propose a novel multi-label knowledge distillation method. On one hand, it exploits the informative semantic knowledge from the logits by dividing the multi-label learning problem into a set of binary classification problems; on the other hand, it enhances the distinctiveness of the learned feature representations by leveraging the structural information of label-wise embeddings. Experimental results on multiple benchmark datasets validate that the proposed method can avoid knowledge counteraction among labels, thus achieving superior performance against diverse comparing methods. Our code is available at: https://github.com/penghui-yang/L2D
• Abstract（参考訳）: 既存の知識蒸留法は、通常、教師ネットワークから生徒ネットワークへの出力ロジットや中間的特徴マップの知識を付与することで機能する。 しかし、これらの手法は、各インスタンスが複数のセマンティックラベルに関連付けられているマルチラベル学習シナリオに拡張することは困難である。 本稿では,新しい多ラベル知識蒸留法を提案する。 一方、マルチラベル学習問題をバイナリ分類問題に分割することで、ロジットからの情報的意味知識を活用でき、一方、ラベルワイド埋め込みの構造情報を活用することにより、学習した特徴表現の識別性を高めることができる。 複数のベンチマークデータセットにおける実験結果は,提案手法がラベル間の知識の反作用を回避できることを確認した。 私たちのコードは、https://github.com/penghui-yang/L2Dで利用可能です。

関連論文リスト

• Determined Multi-Label Learning via Similarity-Based Prompt [12.428779617221366]
  マルチラベル分類では、各トレーニングインスタンスは複数のクラスラベルに同時に関連付けられている。 この問題を軽減するために,textitDetermined Multi-Label Learning (DMLL) と呼ばれる新しいラベル設定を提案する。
  論文  参考訳（メタデータ） (2024-03-25T07:08:01Z)
• Query-Based Knowledge Sharing for Open-Vocabulary Multi-Label Classification [5.985859108787149]
  マルチラベルゼロショット学習はコンピュータビジョンにおける非自明なタスクである。 本稿では,この課題に対する新しい問合せに基づく知識共有パラダイムを提案する。 NUS-WIDE および Open Images では、ゼロショットタスクの最先端手法を5.9%、mAP の4.5%で大幅に上回っている。
  論文  参考訳（メタデータ） (2024-01-02T12:18:40Z)
• Reliable Representations Learning for Incomplete Multi-View Partial Multi-Label Classification [78.15629210659516]
  本稿ではRANKという不完全なマルチビュー部分的マルチラベル分類ネットワークを提案する。 既存の手法に固有のビューレベルの重みを分解し、各サンプルのビューに品質スコアを動的に割り当てる品質対応サブネットワークを提案する。 我々のモデルは、完全なマルチビューマルチラベルデータセットを処理できるだけでなく、欠落したインスタンスやラベルを持つデータセットでも機能する。
  論文  参考訳（メタデータ） (2023-03-30T03:09:25Z)
• Open-Vocabulary Multi-Label Classification via Multi-modal Knowledge Transfer [55.885555581039895]
  マルチラベルゼロショット学習(ML-ZSL)は、事前訓練されたテキストラベル埋め込みによる知識の伝達に焦点を当てている。 マルチラベル分類のためのMKT(Multimodal Knowledge Transfer)と呼ばれる新しいオープン語彙フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T08:32:18Z)
• Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
  監督されたディープラーニングは、大量の注釈付き例に依存している。 典型的な方法は、複数のノイズアノテータから学習することである。 本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T16:57:00Z)
• Open-Set Representation Learning through Combinatorial Embedding [62.05670732352456]
  ラベル付きクラスとラベルなしクラスの両方の例に基づく表現学習を通じて、データセットにおける新しい概念を識別することに興味がある。 異種ラベル空間上の複数の教師付きメタクラス分類器によって与えられる構成知識を用いて、自然に未知のクラス内のサンプルをクラスタリングする学習手法を提案する。 提案アルゴリズムは,未確認クラスの識別性の向上と,新しいクラスに一般化可能な既知のクラス表現の学習を併用して,新しい概念を探索する。
  論文  参考訳（メタデータ） (2021-06-29T11:51:57Z)
• Interpretation of multi-label classification models using shapley values [0.5482532589225552]
  本研究は,shap法を用いて,マルチラベル分類タスクの説明をさらに拡張する。 この実験は、よく知られたマルチラベルデータセット上の異なるアルゴリズムの包括的な比較を示す。
  論文  参考訳（メタデータ） (2021-04-21T12:51:12Z)
• Noisy Labels Can Induce Good Representations [53.47668632785373]
  アーキテクチャがノイズラベルによる学習に与える影響について検討する。 ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。 この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
  論文  参考訳（メタデータ） (2020-12-23T18:58:05Z)
• Multi-label Few/Zero-shot Learning with Knowledge Aggregated from Multiple Label Graphs [8.44680447457879]
  本稿では,異なる意味的ラベル関係をコードする複数のラベルグラフから知識を融合する,シンプルな多グラフ集約モデルを提案する。 本研究は,多グラフ知識集約を用いた手法が,少数・ゼロショットラベルのほとんどすべてにおいて,大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2020-10-15T01:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。