論文の概要: Imbalance Trouble: Revisiting Neural-Collapse Geometry

• arxiv url: http://arxiv.org/abs/2208.05512v1
• Date: Wed, 10 Aug 2022 18:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-12 12:54:45.761259
• Title: Imbalance Trouble: Revisiting Neural-Collapse Geometry
• Title（参考訳）: 不均衡問題:神経崩壊幾何学の再考
• Authors: Christos Thrampoulidis, Ganesh R. Kini, Vala Vakilian, Tina Behnia
• Abstract要約: 本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。 我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。 我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
• 参考スコア（独自算出の注目度）: 27.21274327569783
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Neural Collapse refers to the remarkable structural properties characterizing the geometry of class embeddings and classifier weights, found by deep nets when trained beyond zero training error. However, this characterization only holds for balanced data. Here we thus ask whether it can be made invariant to class imbalances. Towards this end, we adopt the unconstrained-features model (UFM), a recent theoretical model for studying neural collapse, and introduce Simplex-Encoded-Labels Interpolation (SELI) as an invariant characterization of the neural collapse phenomenon. Specifically, we prove for the UFM with cross-entropy loss and vanishing regularization that, irrespective of class imbalances, the embeddings and classifiers always interpolate a simplex-encoded label matrix and that their individual geometries are determined by the SVD factors of this same label matrix. We then present extensive experiments on synthetic and real datasets that confirm convergence to the SELI geometry. However, we caution that convergence worsens with increasing imbalances. We theoretically support this finding by showing that unlike the balanced case, when minorities are present, ridge-regularization plays a critical role in tweaking the geometry. This defines new questions and motivates further investigations into the impact of class imbalances on the rates at which first-order methods converge to their asymptotically preferred solutions.
• Abstract（参考訳）: 神経崩壊(neural collapse)とは、クラス埋め込みとクラス化重みの幾何学を特徴付ける顕著な構造的性質を指す。 しかし、この特徴はバランスの取れたデータにのみ当てはまる。 そこで、クラス不均衡に不変であるかどうかを問う。 この目的に向けて,最近の神経崩壊研究のための理論モデルであるunconstrained-features model(ufm)を採用し,神経崩壊現象の不変なキャラクタリゼーションとしてsimplex-encoded-labels interpolation(seli)を導入した。 具体的には,クラス不均衡によらず,組込みと分類器が常に単純x符号化ラベル行列を補間し,それらの個々のジオメトリが同じラベル行列のSVD因子によって決定されることを示す。 次に,合成データと実データに関する広範な実験を行い,セリ幾何への収束を確認した。 しかし、収束は不均衡の増大とともに悪化する。 この発見を理論的には、マイノリティが存在する場合と異なり、リッジ規則化は幾何学の微調整において重要な役割を果たすことを示す。 これは新しい問題を定義し、一階法が漸近的に好まれる解に収束する速度にクラス不均衡が与える影響についてさらなる調査を動機付けている。

関連論文リスト

• Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
  トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。 本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。 重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T04:53:31Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Neural Collapse for Unconstrained Feature Model under Cross-entropy Loss with Imbalanced Data [1.0152838128195467]
  クロスエントロピー損失関数の下での不均衡データに対するニューラル・コラプス(NC)現象の拡張について検討した。 私たちの貢献は、最先端の成果と比べて多角的です。
  論文  参考訳（メタデータ） (2023-09-18T12:45:08Z)
• Semi-Supervised Laplacian Learning on Stiefel Manifolds [67.29074577550405]
  我々は、ララシアグラフの非プラサート一般化の枠組みを改革する。 低ラベルレートでの教師付きサンプルの臨界中心性に対処する。 私たちのコードは提出のためにオンフットコノニマス化されています。
  論文  参考訳（メタデータ） (2023-07-31T20:19:36Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data [26.310275682709776]
  ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。 マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
  論文  参考訳（メタデータ） (2023-03-14T03:04:37Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced Data [12.225207401994737]
  大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。 特に、最終層の特徴がクラス平均に崩壊することが観察されている。 本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
  論文  参考訳（メタデータ） (2023-01-01T16:29:56Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Harmless interpolation in regression and classification with structured features [21.064512161584872]
  過度にパラメータ化されたニューラルネットワークは、ノイズの多いトレーニングデータに完全に適合するが、テストデータではうまく一般化する。 再生カーネルヒルベルト空間における上界回帰と分類リスクの一般かつ柔軟な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-11-09T15:12:26Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。