論文の概要: Neural Collapse in Multi-label Learning with Pick-all-label Loss

• arxiv url: http://arxiv.org/abs/2310.15903v4
• Date: Thu, 20 Jun 2024 09:18:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 06:27:34.412240
• Title: Neural Collapse in Multi-label Learning with Pick-all-label Loss
• Title（参考訳）: ピック・オール・ラベル・ロスを用いた多ラベル学習における神経崩壊
• Authors: Pengyu Li, Xiao Li, Yutong Wang, Qing Qu,
• Abstract要約: ニューラル崩壊レンズ(NC)を用いたマルチラベル分類(MLab)タスクのためのディープニューラルネットワークの研究 一般化された NC 現象が MLab と呼ばれる「ピック・オール・ラベル」の定式化を持つことを初めて証明する。
• 参考スコア（独自算出の注目度）: 28.46350033490066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study deep neural networks for the multi-label classification (MLab) task through the lens of neural collapse (NC). Previous works have been restricted to the multi-class classification setting and discovered a prevalent NC phenomenon comprising of the following properties for the last-layer features: (i) the variability of features within every class collapses to zero, (ii) the set of feature means form an equi-angular tight frame (ETF), and (iii) the last layer classifiers collapse to the feature mean upon some scaling. We generalize the study to multi-label learning, and prove for the first time that a generalized NC phenomenon holds with the "pick-all-label" formulation, which we term as MLab NC. While the ETF geometry remains consistent for features with a single label, multi-label scenarios introduce a unique combinatorial aspect we term the "tag-wise average" property, where the means of features with multiple labels are the scaled averages of means for single-label instances. Theoretically, under proper assumptions on the features, we establish that the only global optimizer of the pick-all-label cross-entropy loss satisfy the multi-label NC. In practice, we demonstrate that our findings can lead to better test performance with more efficient training techniques for MLab learning.
• Abstract（参考訳）: マルチラベル分類(MLab)タスクのためのディープニューラルネットワークについて,ニューラル崩壊レンズ(NC)を用いて検討した。 先行研究は多クラス分類設定に限られており、最終層の特徴として以下の性質からなるNC現象が顕著に発見されている。 (i)各クラス内の特徴の変数は0に崩壊する。 二 特徴の集合は、等角タイトフレーム(ETF)を形成して、 3)最後の層分類器は、ある程度のスケーリングで機能に崩壊する。 我々は,本研究を多ラベル学習に一般化し,一般化されたNC現象がMLab NCと呼ばれる「ピック・オール・ラベル」の定式化を伴うことを初めて証明する。 ETFの幾何学は単一ラベルを持つ特徴に対して一貫しているが、マルチラベルシナリオでは、単一ラベルのインスタンスに対して、複数のラベルを持つ特徴の手段がスケールした平均値となる「タグワイド平均」特性と呼ばれる独自の組合せ的側面を導入する。 理論的には、これらの特徴について適切な仮定の下で、ピック・オール・ラベル・クロスエントロピー損失の唯一の大域最適化器がマルチラベルNCを満たすことを証明している。 実際に我々は,MLabの学習において,より効率的なトレーニング技術を用いて,より優れたテストパフォーマンスを実現することができることを実証した。

関連論文リスト

• LayerMatch: Do Pseudo-labels Benefit All Layers? [77.59625180366115]
  半教師付き学習はラベル付きデータの依存性を軽減するための有望なソリューションを提供する。 我々はGrad-ReLUとAvg-Clusteringという2つの層固有の擬似ラベル戦略を開発した。 提案手法は,標準的な半教師付き学習ベンチマークにおいて,例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-06-20T11:25:50Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Learning Disentangled Label Representations for Multi-label Classification [39.97251974500034]
  One-Shared-Feature-for-Multiple-Labels (OFML) は識別ラベルの特徴を学習するのに役立ちません。 我々は,One-specific-Feature-for-One-Label(OFOL)機構を導入し,新しいアンタングル付きラベル特徴学習フレームワークを提案する。 8つのデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-12-02T21:49:34Z)
• PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label Semi-Supervised Classification [64.39761523935613]
  トレーニング中の各クラスに対する正と負の擬似ラベルのスコア閾値を動的に変更するためのパーセンタイルベースのしきい値調整手法を提案する。 近年のSSL方式と比較して, Pascal VOC2007 と MS-COCO のデータセットの性能は高い。
  論文  参考訳（メタデータ） (2022-08-30T01:27:48Z)
• Evolving Multi-Label Fuzzy Classifier [5.53329677986653]
  マルチラベル分類は、同時に複数のクラスに1つのサンプルを割り当てるという問題に対処するために、機械学習コミュニティで多くの注目を集めている。 本稿では,新たなマルチラベルサンプルをインクリメンタルかつシングルパスで自己適応・自己展開可能な多ラベルファジィ分類器(EFC-ML)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:01:03Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification [27.043136219527767]
  本稿では,新しいコントラスト学習促進型マルチラベル予測モデルを提案する。 教師付き環境でのコントラスト学習を用いることで,ラベル情報を効果的に活用することができる。 学習した埋め込みがラベルとラベルの相互作用の解釈に洞察を与えることを示す。
  論文  参考訳（メタデータ） (2021-12-02T04:23:34Z)
• Latent-Insensitive Autoencoders for Anomaly Detection and Class-Incremental Learning [0.0]
  我々は、類似ドメインからのラベルなしデータを負の例として用いて、正規のオートエンコーダの潜伏層(ブートネック)を形成するLatent-Insensitive Autoencoder (LIS-AE)を紹介した。 本稿では,クラス毎に異なる潜在層を追加して,クラス増分学習を複数の異常検出タスクとして扱うとともに,クラス増分学習を負の例として,各潜在層を形作る。
  論文  参考訳（メタデータ） (2021-10-25T16:53:49Z)
• Gated recurrent units and temporal convolutional network for multilabel classification [122.84638446560663]
  本研究は,マルチラベル分類を管理するための新しいアンサンブル手法を提案する。 提案手法のコアは,Adamグラデーション最適化アプローチの変種で訓練された,ゲート再帰単位と時間畳み込みニューラルネットワークの組み合わせである。
  論文  参考訳（メタデータ） (2021-10-09T00:00:16Z)
• Generative Multi-Label Zero-Shot Learning [136.17594611722285]
  マルチラベルゼロショット学習は、トレーニング中にデータが入手できない複数の見えないカテゴリにイメージを分類する試みである。 我々の研究は、(一般化された)ゼロショット設定におけるマルチラベル機能の問題に最初に取り組みました。 私たちのクロスレベル核融合に基づく生成アプローチは、3つのデータセットすべてにおいて最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2021-01-27T18:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。