論文の概要: Guiding Neural Collapse: Optimising Towards the Nearest Simplex Equiangular Tight Frame

• arxiv url: http://arxiv.org/abs/2411.01248v1
• Date: Sat, 02 Nov 2024 13:54:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:10.307233
• Title: Guiding Neural Collapse: Optimising Towards the Nearest Simplex Equiangular Tight Frame
• Title（参考訳）: 神経崩壊の誘導:最も単純な等角的高さフレームに向けての最適化
• Authors: Evan Markou, Thalaiyasingam Ajanthan, Stephen Gould,
• Abstract要約: ニューラル・コラプス(英: Neural Collapse, NC)は、ニューラルネットワークにおいて最近観測された現象であり、トレーニング損失がゼロになるまで、最終分類器層の解空間を特徴付ける。 我々は,任意のトレーニングイテレーションにおいて,最寄りの単純なETF幾何の概念を導入している。 各繰り返しにおいて、分類器の重みは、この内部最適化を解くことにより、最も近い単純 ETF に暗黙的に設定される。 分類タスクのための合成および実世界のアーキテクチャに関する実験は,本手法が収束を加速し,訓練安定性を高めることを実証している。
• 参考スコア（独自算出の注目度）: 34.309687104447114
• License:
• Abstract: Neural Collapse (NC) is a recently observed phenomenon in neural networks that characterises the solution space of the final classifier layer when trained until zero training loss. Specifically, NC suggests that the final classifier layer converges to a Simplex Equiangular Tight Frame (ETF), which maximally separates the weights corresponding to each class. By duality, the penultimate layer feature means also converge to the same simplex ETF. Since this simple symmetric structure is optimal, our idea is to utilise this property to improve convergence speed. Specifically, we introduce the notion of nearest simplex ETF geometry for the penultimate layer features at any given training iteration, by formulating it as a Riemannian optimisation. Then, at each iteration, the classifier weights are implicitly set to the nearest simplex ETF by solving this inner-optimisation, which is encapsulated within a declarative node to allow backpropagation. Our experiments on synthetic and real-world architectures for classification tasks demonstrate that our approach accelerates convergence and enhances training stability.
• Abstract（参考訳）: ニューラル・コラプス(英: Neural Collapse, NC)は、ニューラルネットワークにおいて最近観測された現象であり、トレーニング損失がゼロになるまで、最終分類器層の解空間を特徴付ける。 具体的には、NC は最終分類器層が Simplex Equiangular Tight Frame (ETF) に収束し、各クラスに対応する重みを最大に分離することを示唆している。 双対性により、最小層特徴は、同じ単純なETFに収束する。 この単純な対称構造は最適であるので、この性質を利用して収束速度を改善する。 具体的には、任意のトレーニング繰り返しにおいて、最も近い単純 ETF 幾何学の概念を導入し、リーマン最適化として定式化する。 そして、各繰り返しにおいて、分類器の重みは、この内最適化を解くことで暗黙的に最も単純なETFに設定され、これは宣言ノードにカプセル化され、バックプロパゲーションが可能である。 分類タスクのための合成および実世界のアーキテクチャに関する実験は,本手法が収束を加速し,訓練安定性を高めることを実証している。

関連論文リスト

• Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
  トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。 本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。 重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T04:53:31Z)
• Inducing Neural Collapse to a Fixed Hierarchy-Aware Frame for Reducing Mistake Severity [0.0]
  深層ニューラルネットワークの線形分類器を階層認識フレーム(HAFrame)に固定することを提案する。 提案手法は,複数のデータセット上でトップ1の精度を維持しながら,モデルの予測ミスの深刻度を低減する。
  論文  参考訳（メタデータ） (2023-03-10T03:44:01Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• A Geometric Analysis of Neural Collapse with Unconstrained Features [40.66585948844492]
  Neural;Collapse$の最初のグローバル最適化ランドスケープ分析を提供します。 この現象は、トレーニングの終末期におけるニューラルネットワークのラスト層分類器と特徴に現れる。
  論文  参考訳（メタデータ） (2021-05-06T00:00:50Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。