Fugu-MT 論文翻訳(概要): Neural collapse in the orthoplex regime

論文の概要: Neural collapse in the orthoplex regime

arxiv url: http://arxiv.org/abs/2603.20587v1
Date: Sat, 21 Mar 2026 01:04:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-24 19:11:38.985182
Title: Neural collapse in the orthoplex regime
Title（参考訳）: 整形外科領域における神経崩壊
Authors: James Alcala, Rayna Andreeva, Vladimir A. Kobzar, Dustin G. Mixon, Sanghoon Na, Shashank Sule, Yangxinyu Xie,
Abstract要約: 我々は、$d+2leq nleq 2d$の整形系における幾何学的数値を特徴づける。我々の分析におけるテクニックは、主にラドンの定理と凸性を含んでいる。
参考スコア（独自算出の注目度）: 3.7943154577268987
License: http://creativecommons.org/licenses/by/4.0/
Abstract: When training a neural network for classification, the feature vectors of the training set are known to collapse to the vertices of a regular simplex, provided the dimension $d$ of the feature space and the number $n$ of classes satisfies $n\leq d+1$. This phenomenon is known as neural collapse. For other applications like language models, one instead takes $n\gg d$. Here, the neural collapse phenomenon still occurs, but with different emergent geometric figures. We characterize these geometric figures in the orthoplex regime where $d+2\leq n\leq 2d$. The techniques in our analysis primarily involve Radon's theorem and convexity.
Abstract（参考訳）: ニューラルネットワークを分類するために訓練する場合、トレーニングセットの特徴ベクトルは通常の単純体の頂点に崩壊することが知られ、特徴空間の次元$d$とクラスの数$n$が$n\leq d+1$を満たす。この現象は神経崩壊と呼ばれる。言語モデルのような他のアプリケーションの場合、代わりに$n\gg d$を使う。ここでは、神経崩壊現象はまだ起こるが、創発的な幾何学的図形が異なる。我々はこれらの幾何図形を、$d+2\leq n\leq 2d$の整形式で特徴づける。我々の分析におけるテクニックは、主にラドンの定理と凸性を含んでいる。

関連論文リスト

Phase Transitions for Feature Learning in Neural Networks [27.411134657066267]
比例ニューロン$n,dtoin$,$n/dto$における2層ニューラルネットワークの降下ダイナミクスについて検討した。ネットワークアーキテクチャとトレーニングアルゴリズムに学習ダイナミクスが依存することを研究する方法として, $_textNN$ のキャラクタリゼーションを公開しています。
論文参考訳（メタデータ） (2026-02-01T20:47:36Z)
Neural Networks Learn Generic Multi-Index Models Near Information-Theoretic Limit [66.20349460098275]
一般ガウス多次元モデル $f(boldsymbolx)=g(boldsymbolUboldsymbolx)$ の勾配降下学習を隠蔽部分空間 $boldsymbolUin mathbbRrtimes d$ で研究する。リンク関数上の一般的な非退化仮定の下では、層次勾配勾配勾配によって訓練された標準的な2層ニューラルネットワークは、$o_d(1)$テスト誤差でターゲットを不可知的に学習できることを示す。
論文参考訳（メタデータ） (2025-11-19T04:46:47Z)
Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
論文参考訳（メタデータ） (2025-04-28T16:58:55Z)
Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
論文参考訳（メタデータ） (2024-06-03T17:56:58Z)
Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced Data [12.225207401994737]
大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。特に、最終層の特徴がクラス平均に崩壊することが観察されている。本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
論文参考訳（メタデータ） (2023-01-01T16:29:56Z)
Overparametrized linear dimensionality reductions: From projection pursuit to two-layer neural networks [8.74634652691576]
我々は$mathbbRd$の$nデータポイントのクラウドを考え、$mathbbRd$の$m$次元部分空間上のすべての射影を考える。この確率分布の集まりは、$n,d$が大きくなるとどのように見えるか? Kullback-Leibler の発散と R'enyi の情報次元の点で鋭い境界を証明している。
論文参考訳（メタデータ） (2022-06-14T00:07:33Z)
A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文参考訳（メタデータ） (2021-12-17T11:47:45Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文参考訳（メタデータ） (2020-07-09T07:09:28Z)
A Corrective View of Neural Networks: Representation, Memorization and Learning [26.87238691716307]
我々はニューラルネットワーク近似の補正機構を開発する。ランダム・フィーチャー・レギュレーション(RF)における2層ニューラルネットワークは任意のラベルを記憶できることを示す。また、3層ニューラルネットワークについても検討し、その補正機構がスムーズなラジアル関数に対する高速な表現率をもたらすことを示す。
論文参考訳（メタデータ） (2020-02-01T20:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。