論文の概要: Inducing Neural Collapse to a Fixed Hierarchy-Aware Frame for Reducing
Mistake Severity
- arxiv url: http://arxiv.org/abs/2303.05689v2
- Date: Wed, 9 Aug 2023 17:31:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 17:59:14.695056
- Title: Inducing Neural Collapse to a Fixed Hierarchy-Aware Frame for Reducing
Mistake Severity
- Title(参考訳): 誤り度低減のための固定階層型フレームへのニューラル崩壊の誘導
- Authors: Tong Liang and Jim Davis
- Abstract要約: 深層ニューラルネットワークの線形分類器を階層認識フレーム(HAFrame)に固定することを提案する。
提案手法は,複数のデータセット上でトップ1の精度を維持しながら,モデルの予測ミスの深刻度を低減する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: There is a recently discovered and intriguing phenomenon called Neural
Collapse: at the terminal phase of training a deep neural network for
classification, the within-class penultimate feature means and the associated
classifier vectors of all flat classes collapse to the vertices of a simplex
Equiangular Tight Frame (ETF). Recent work has tried to exploit this phenomenon
by fixing the related classifier weights to a pre-computed ETF to induce neural
collapse and maximize the separation of the learned features when training with
imbalanced data. In this work, we propose to fix the linear classifier of a
deep neural network to a Hierarchy-Aware Frame (HAFrame), instead of an ETF,
and use a cosine similarity-based auxiliary loss to learn hierarchy-aware
penultimate features that collapse to the HAFrame. We demonstrate that our
approach reduces the mistake severity of the model's predictions while
maintaining its top-1 accuracy on several datasets of varying scales with
hierarchies of heights ranging from 3 to 12. Code:
https://github.com/ltong1130ztr/HAFrame
- Abstract(参考訳): 最近、神経崩壊と呼ばれる興味深い現象が発見されており、分類のためのディープニューラルネットワークの訓練の終盤において、クラス内のペナルティメイト特徴手段と関連するフラットクラスの分類器ベクトルは、単純等角タイトフレーム(etf)の頂点に崩壊する。
近年の研究では、関連する分類器重みを予め計算されたetfに固定し、神経崩壊を誘発し、不均衡なデータでトレーニングする際に学習した特徴の分離を最大化することで、この現象を生かそうと試みている。
本研究では,深層ニューラルネットワークの線形分類器をETFの代わりに階層認識フレーム(Hierarchy-Aware Frame, HAFrame)に固定し,コサイン類似性に基づく補助的損失を用いて階層認識特徴を学習することを提案する。
提案手法は,3~12の階層構造を持つ様々なスケールのデータセットにおいて,トップ1の精度を維持しつつ,モデル予測の誤り重大度を低減する。
コード:https://github.com/ltong1130ztr/HAFrame
関連論文リスト
- Neural Collapse for Cross-entropy Class-Imbalanced Learning with
Unconstrained ReLU Feature Model [27.981055963228197]
トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。
本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。
重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
論文 参考訳(メタデータ) (2024-01-04T04:53:31Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-06T18:39:40Z) - Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。
機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。
我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文 参考訳(メタデータ) (2023-01-03T13:51:51Z) - Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced
Data [12.225207401994737]
大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。
特に、最終層の特徴がクラス平均に崩壊することが観察されている。
本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
論文 参考訳(メタデータ) (2023-01-01T16:29:56Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳(メタデータ) (2022-12-05T14:47:52Z) - Learning Hierarchy Aware Features for Reducing Mistake Severity [3.704832909610283]
階層認識機能(HAF)を学習するための新しいアプローチを提案する。
HAFは、トップ1エラーを維持しながらミスを改善するトレーニングタイムアプローチであり、すべてのミスを平等に扱うクロスエントロピー損失の問題に対処する。
我々は,3つの階層的データセット上でHAFを評価し,iNaturalist-19およびCIFAR-100データセットの最先端結果を得た。
論文 参考訳(メタデータ) (2022-07-26T04:24:47Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-03-17T04:34:28Z) - Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。
最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。
本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
論文 参考訳(メタデータ) (2022-02-16T14:17:37Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。