論文の概要: Neural Collapse in Multi-label Learning with Pick-all-label Loss
- arxiv url: http://arxiv.org/abs/2310.15903v1
- Date: Tue, 24 Oct 2023 15:07:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 18:21:09.644851
- Title: Neural Collapse in Multi-label Learning with Pick-all-label Loss
- Title（参考訳）: ピックオールラベル損失を伴うマルチラベル学習における神経崩壊
- Authors: Pengyu Li, Yutong Wang, Xiao Li, Qing Qu
- Abstract要約: ニューラル崩壊レンズ(NC)を用いたマルチラベル分類(MLab)タスクのためのディープニューラルネットワークの研究
それまでの作業は、多クラス分類の設定に限られていた。
一般化されたNC現象が「ピック・オール・ラベル」の定式化と初めて一致することを証明した。
- 参考スコア（独自算出の注目度）: 31.09432931195685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study deep neural networks for the multi-label classification (MLab) task
through the lens of neural collapse (NC). Previous works have been restricted
to the multi-class classification setting and discovered a prevalent NC
phenomenon comprising of the following properties for the last-layer features:
(i) the variability of features within every class collapses to zero, (ii) the
set of feature means form an equi-angular tight frame (ETF), and (iii) the last
layer classifiers collapse to the feature mean upon some scaling. We generalize
the study to multi-label learning, and prove for the first time that a
generalized NC phenomenon holds with the "pick-all-label'' formulation. Under
the natural analog of the unconstrained feature model (UFM), we establish that
the only global classifier of the pick-all-label cross entropy loss display the
same ETF geometry which further collapse to multiplicity-1 feature class means.
Besides, we discover a combinatorial property in generalized NC which is unique
for multi-label learning that we call ``tag-wise average'' property, where the
feature class-means of samples with multiple labels are scaled average of the
feature class-means of single label tags. Theoretically, we establish global
optimality result for the pick-all-label cross-entropy risk for the UFM.
Additionally, We also provide empirical evidence to support our investigation
into training deep neural networks on multi-label datasets, resulting in
improved training efficiency.
- Abstract（参考訳）: マルチラベル分類(MLab)タスクのためのディープニューラルネットワークについて,ニューラル崩壊レンズ(NC)を用いて検討した。
先行研究は,マルチクラス分類設定に制限されており,最終層の特徴として,以下の特性からなるnc現象が広く見られる。
(i)各クラス内の特徴の変動性はゼロに崩壊する。
(ii)特徴点集合は、等角タイトフレーム(etf)を形成し、
3)最後の層分類器は、ある程度のスケーリングで機能に崩壊する。
本研究をマルチラベル学習に一般化し,一般化されたnc現象が「ピック・オール・ラベル」の定式化で成立することを示す。
非拘束特徴モデル(unconstrained feature model:ufm)の自然な類似性の下で、ピック-オール-ラベルクロスエントロピー損失の唯一の大域的分類器は、さらに多重度-1特徴クラス平均に崩壊する同じetf幾何を表示する。
さらに,複数のラベルを持つサンプルの特徴クラス平均値が単一ラベルタグの特徴クラス平均値の平均値である「タグワイド平均値」という,多ラベル学習に特有な一般化NCの組合せ特性を発見した。
理論上, ufmのピックオールラベルクロスエントロピーリスクに対する大域的最適性が確立される。
さらに,マルチラベルデータセット上で深層ニューラルネットワークをトレーニングすることで,トレーニング効率が向上することを示す実証的証拠も提供する。
関連論文リスト
- LayerMatch: Do Pseudo-labels Benefit All Layers? [77.59625180366115]
半教師付き学習はラベル付きデータの依存性を軽減するための有望なソリューションを提供する。
我々はGrad-ReLUとAvg-Clusteringという2つの層固有の擬似ラベル戦略を開発した。
提案手法は,標準的な半教師付き学習ベンチマークにおいて,例外的な性能を示す。
論文 参考訳（メタデータ） (2024-06-20T11:25:50Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳（メタデータ） (2023-02-06T18:39:40Z) - Learning Disentangled Label Representations for Multi-label
Classification [39.97251974500034]
One-Shared-Feature-for-Multiple-Labels (OFML) は識別ラベルの特徴を学習するのに役立ちません。
我々は,One-specific-Feature-for-One-Label(OFOL)機構を導入し,新しいアンタングル付きラベル特徴学習フレームワークを提案する。
8つのデータセットで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-12-02T21:49:34Z) - PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label
Semi-Supervised Classification [64.39761523935613]
トレーニング中の各クラスに対する正と負の擬似ラベルのスコア閾値を動的に変更するためのパーセンタイルベースのしきい値調整手法を提案する。
近年のSSL方式と比較して, Pascal VOC2007 と MS-COCO のデータセットの性能は高い。
論文 参考訳（メタデータ） (2022-08-30T01:27:48Z) - Evolving Multi-Label Fuzzy Classifier [5.53329677986653]
マルチラベル分類は、同時に複数のクラスに1つのサンプルを割り当てるという問題に対処するために、機械学習コミュニティで多くの注目を集めている。
本稿では,新たなマルチラベルサンプルをインクリメンタルかつシングルパスで自己適応・自己展開可能な多ラベルファジィ分類器(EFC-ML)を提案する。
論文 参考訳（メタデータ） (2022-03-29T08:01:03Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Gaussian Mixture Variational Autoencoder with Contrastive Learning for
Multi-Label Classification [27.043136219527767]
本稿では,新しいコントラスト学習促進型マルチラベル予測モデルを提案する。
教師付き環境でのコントラスト学習を用いることで,ラベル情報を効果的に活用することができる。
学習した埋め込みがラベルとラベルの相互作用の解釈に洞察を与えることを示す。
論文 参考訳（メタデータ） (2021-12-02T04:23:34Z) - Latent-Insensitive Autoencoders for Anomaly Detection and
Class-Incremental Learning [0.0]
我々は、類似ドメインからのラベルなしデータを負の例として用いて、正規のオートエンコーダの潜伏層(ブートネック)を形成するLatent-Insensitive Autoencoder (LIS-AE)を紹介した。
本稿では,クラス毎に異なる潜在層を追加して,クラス増分学習を複数の異常検出タスクとして扱うとともに,クラス増分学習を負の例として,各潜在層を形作る。
論文 参考訳（メタデータ） (2021-10-25T16:53:49Z) - Gated recurrent units and temporal convolutional network for multilabel
classification [122.84638446560663]
本研究は,マルチラベル分類を管理するための新しいアンサンブル手法を提案する。
提案手法のコアは,Adamグラデーション最適化アプローチの変種で訓練された,ゲート再帰単位と時間畳み込みニューラルネットワークの組み合わせである。
論文 参考訳（メタデータ） (2021-10-09T00:00:16Z) - Generative Multi-Label Zero-Shot Learning [136.17594611722285]
マルチラベルゼロショット学習は、トレーニング中にデータが入手できない複数の見えないカテゴリにイメージを分類する試みである。
我々の研究は、(一般化された)ゼロショット設定におけるマルチラベル機能の問題に最初に取り組みました。
私たちのクロスレベル核融合に基づく生成アプローチは、3つのデータセットすべてにおいて最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2021-01-27T18:56:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。