論文の概要: A Study of Neural Collapse Phenomenon: Grassmannian Frame, Symmetry and Generalization

• arxiv url: http://arxiv.org/abs/2304.08914v2
• Date: Fri, 12 May 2023 10:22:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 15:32:56.466189
• Title: A Study of Neural Collapse Phenomenon: Grassmannian Frame, Symmetry and Generalization
• Title（参考訳）: 神経崩壊現象の研究:グラスマンフレーム、対称性および一般化
• Authors: Peifeng Gao, Qianqian Xu, Peisong Wen, Huiyang Shao, Zhiyong Yang, Qingming Huang
• Abstract要約: 一般化ニューラル崩壊仮説の証明により,元のニューラル崩壊現象を拡張した。 分類の最適化と一般化からグラスマンフレーム構造を得る。 置換の対称性一般化を説明する定理を提供する。
• 参考スコア（独自算出の注目度）: 91.95109845914267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we extend original Neural Collapse Phenomenon by proving Generalized Neural Collapse hypothesis. We obtain Grassmannian Frame structure from the optimization and generalization of classification. This structure maximally separates features of every two classes on a sphere and does not require a larger feature dimension than the number of classes. Out of curiosity about the symmetry of Grassmannian Frame, we conduct experiments to explore if models with different Grassmannian Frames have different performance. As a result, we discover the Symmetric Generalization phenomenon. We provide a theorem to explain Symmetric Generalization of permutation. However, the question of why different directions of features can lead to such different generalization is still open for future investigation.
• Abstract（参考訳）: 本稿では,一般化ニューラル崩壊仮説の証明により,元のニューラル崩壊現象を拡張した。 分類の最適化と一般化からグラスマンフレーム構造を得る。 この構造は球面上の各2つのクラスの特徴を極大に分離し、クラスの数よりも大きな特徴次元を必要としない。 グラスマンフレームの対称性に関する好奇心から、異なるグラスマンフレームを持つモデルが異なる性能を持つかどうかを調べる実験を行う。 その結果,対称性一般化現象が発見された。 置換の対称性一般化を説明する定理を提供する。 しかし、なぜ特徴の異なる方向がそのような一般化に繋がるかという問題は、今後の研究のためには未解決である。

関連論文リスト

• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Holomorphic Floer theory I: exponential integrals in finite and infinite dimensions [0.0]
  我々は指数積分と関連する壁交差構造について議論する。 我々は、モース・ノヴィコフ理論を正則ケースに特に一般化する対応する理論を発展させる。 系として、指数積分の摂動展開は復活する。
  論文  参考訳（メタデータ） (2024-02-12T00:21:31Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting [64.0722630873758]
  我々は、ある微分方程式のオイラー・マルヤマ離散化のように見える、より一般で幅広いマルコフ連鎖、伊藤鎖を考える。 伊藤鎖の法則と微分方程式の間の$W_2$-距離の有界性を証明する。
  論文  参考訳（メタデータ） (2023-10-09T18:38:56Z)
• Entanglement asymmetry in the ordered phase of many-body systems: the Ising Field Theory [0.0]
  量子多体系の大域対称性は自然に破られることがある。 本研究では,特定の領域の絡み合い非対称性について検討する。 また、ツイスト演算子を用いたレプリカ理論における場理論の枠組みも確立する。
  論文  参考訳（メタデータ） (2023-07-22T17:07:56Z)
• Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance [72.50214227616728]
  解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。 特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
  論文  参考訳（メタデータ） (2023-04-13T17:59:03Z)
• Neural Collapse with Normalized Features: A Geometric Analysis over the Riemannian Manifold [30.3185037354742]
  分類タスクのための正規化されたディープネットワーク上でのトレーニングでは、学習された特徴はいわゆる「神経崩壊」現象を示す。 特徴正規化により、より良い表現をより早く学習できることが示される。
  論文  参考訳（メタデータ） (2022-09-19T17:26:32Z)
• Imbalance Trouble: Revisiting Neural-Collapse Geometry [27.21274327569783]
  本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。 我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。 我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-08-10T18:10:59Z)
• Scalars are universal: Gauge-equivariant machine learning, structured like classical physics [0.0]
  物理的な法則のゲージ対称性を尊重するニューラルネットワーク。 これらの対称性の下で同変な普遍近似関数をパラメータ化することは簡単であることを示す。 これらの結果は、古典物理学におけるゲージ不変深層学習モデルが、大問題に対する優れたスケーリングで現在実現可能であることを理論的に証明している。
  論文  参考訳（メタデータ） (2021-06-11T20:51:38Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。