論文の概要: Inducing Neural Collapse to a Fixed Hierarchy-Aware Frame for Reducing Mistake Severity

• arxiv url: http://arxiv.org/abs/2303.05689v1
• Date: Fri, 10 Mar 2023 03:44:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 16:18:05.280336
• Title: Inducing Neural Collapse to a Fixed Hierarchy-Aware Frame for Reducing Mistake Severity
• Title（参考訳）: 誤り度低減のための固定階層型フレームへのニューラル崩壊の誘導
• Authors: Tong Liang and Jim Davis
• Abstract要約: 深層ニューラルネットワークの線形分類器を階層認識フレーム(HAFrame)に固定することを提案する。 提案手法は,3～12の階層構造を持つ複数のデータセットにおいて,トップ1の精度を維持しつつ,モデルの予測ミスの重大度を低減できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: There is a recently discovered and intriguing phenomenon called Neural Collapse: at the terminal phase of training a deep neural network for classification, the within-class penultimate feature means and the associated classifier vectors of all flat classes collapse to the vertices of a simplex Equiangular Tight Frame (ETF). Recent work has tried to exploit this phenomenon by fixing the related classifier weights to a pre-computed ETF to induce neural collapse and maximize the separation of the learned features when training with imbalanced data. In this work, we propose to fix the linear classifier of a deep neural network to a Hierarchy-Aware Frame (HAFrame), instead of an ETF, and use a cosine similarity-based auxiliary loss to learn hierarchy-aware penultimate features that collapse to the HAFrame. We demonstrate that our approach reduces the mistake severity of the model's predictions while maintaining its top-1 accuracy on several datasets of varying scales with hierarchies of heights ranging from 3 to 12. We will release our code on GitHub in the near future.
• Abstract（参考訳）: 最近、神経崩壊と呼ばれる興味深い現象が発見されており、分類のためのディープニューラルネットワークの訓練の終盤において、クラス内のペナルティメイト特徴手段と関連するフラットクラスの分類器ベクトルは、単純等角タイトフレーム(etf)の頂点に崩壊する。 近年の研究では、関連する分類器重みを予め計算されたetfに固定し、神経崩壊を誘発し、不均衡なデータでトレーニングする際に学習した特徴の分離を最大化することで、この現象を生かそうと試みている。 本研究では,深層ニューラルネットワークの線形分類器をETFの代わりに階層認識フレーム(Hierarchy-Aware Frame, HAFrame)に固定し,コサイン類似性に基づく補助的損失を用いて階層認識特徴を学習することを提案する。 提案手法は,3～12の階層構造を持つ様々なスケールのデータセットにおいて,トップ1の精度を維持しつつ,モデル予測の誤り重大度を低減する。 近い将来、githubにコードをリリースします。

関連論文リスト

• Guiding Neural Collapse: Optimising Towards the Nearest Simplex Equiangular Tight Frame [34.309687104447114]
  ニューラル・コラプス(英: Neural Collapse, NC)は、ニューラルネットワークにおいて最近観測された現象であり、トレーニング損失がゼロになるまで、最終分類器層の解空間を特徴付ける。 我々は,任意のトレーニングイテレーションにおいて,最寄りの単純なETF幾何の概念を導入している。 各繰り返しにおいて、分類器の重みは、この内部最適化を解くことにより、最も近い単純 ETF に暗黙的に設定される。 分類タスクのための合成および実世界のアーキテクチャに関する実験は,本手法が収束を加速し,訓練安定性を高めることを実証している。
  論文  参考訳（メタデータ） (2024-11-02T13:54:31Z)
• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Wide Neural Networks Trained with Weight Decay Provably Exhibit Neural Collapse [32.06666853127924]
  収束時のディープニューラルネットワーク(DNN)は、ニューラル崩壊と呼ばれる対称的な幾何学構造を通して、最終層のトレーニングデータを一貫して表現している。 ここでは、垂直層の特徴は自由変数であり、モデルがデータに依存しないため、トレーニングをキャプチャする能力に疑問を呈する。 まず, (i) 線形層の低トレーニング誤差とバランス性, (ii) 線形部の前の特徴の有界条件付けを前提とした神経崩壊に関する一般的な保証を示す。
  論文  参考訳（メタデータ） (2024-10-07T10:16:40Z)
• Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
  トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。 本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。 重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T04:53:31Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
  セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。 機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。 我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
  論文  参考訳（メタデータ） (2023-01-03T13:51:51Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。