論文の概要: Neural Collapse with Cross-Entropy Loss
- arxiv url: http://arxiv.org/abs/2012.08465v2
- Date: Mon, 18 Jan 2021 23:53:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 10:10:52.245880
- Title: Neural Collapse with Cross-Entropy Loss
- Title(参考訳): クロスエントロピー損失を伴う神経崩壊
- Authors: Jianfeng Lu, Stefan Steinerberger
- Abstract要約: 我々は、単位超球面上の n$ 特徴ベクトルを持つ交叉エントロピー損失の変分問題である $mathbbrd$ を考える。
我々は、$d geq n - 1$の場合、グローバル最小値は、神経崩壊の挙動を正当化する単純角タイトフレームによって与えられることを証明します。
- 参考スコア(独自算出の注目度): 6.336005544376984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the variational problem of cross-entropy loss with $n$ feature
vectors on a unit hypersphere in $\mathbb{R}^d$. We prove that when $d \geq n -
1$, the global minimum is given by the simplex equiangular tight frame, which
justifies the neural collapse behavior. We also prove that as $n \rightarrow
\infty$ with fixed $d$, the minimizing points will distribute uniformly on the
hypersphere and show a connection with the frame potential of Benedetto &
Fickus.
- Abstract(参考訳): 我々は、単位超球面上の n$ 特徴ベクトルを $\mathbb{r}^d$ とするクロスエントロピー損失の変分問題を考える。
我々は、$d \geq n1$ のとき、大域的最小値は、神経崩壊の振る舞いを正当化するsimplex equiangular tight frameによって与えられることを証明する。
また、固定$d$の$n \rightarrow \infty$として、極小化点は超球面上で一様に分布し、ベネデット・アンド・フィッカスのフレームポテンシャルとの接続を示す。
関連論文リスト
- Impossibility of latent inner product recovery via rate distortion [1.1510009152620668]
d gtrsim n h(p)$ ここで、$h(p)$ が二元エントロピー函数であれば、内部積を回復することは不可能である。
この証明は、確立された速度歪曲理論に従う。
論文 参考訳(メタデータ) (2024-07-16T17:23:29Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳(メタデータ) (2023-09-25T17:54:19Z) - Capacity Bounds for Hyperbolic Neural Network Representations of Latent
Tree Structures [8.28720658988688]
本稿では,ReLUアクティベーション機能を持つHNN(Deep Hyperbolic Neural Network)の表現能力について検討する。
HNN が任意の有限重み付き木を少なくとも 2$ に等しい次元の双曲空間に埋め込むことができるという最初の証明を確立する。
グラフ表現を実装するHNNのネットワーク複雑性は,表現の忠実さ/歪みとは無関係であることがわかった。
論文 参考訳(メタデータ) (2023-08-18T02:24:32Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳(メタデータ) (2023-02-27T16:34:21Z) - Some Remarks on the Regularized Hamiltonian for Three Bosons with
Contact Interactions [77.34726150561087]
3次元のゼロレンジ力を介して相互作用する3つのボソン系のモデルハミルトンの性質について論じる。
特に、適当な二次形式 $Q$ から始め、自己随伴およびハミルトンの$mathcal H$ の下から有界となるものを構築することができる。
しきい値 $gamma_c$ が最適であることは、次の2次形式 $Q$ が下から非有界であるという意味では、$gamma_c$ が最適であることを示している。
論文 参考訳(メタデータ) (2022-07-01T10:01:14Z) - Overparametrized linear dimensionality reductions: From projection
pursuit to two-layer neural networks [10.368585938419619]
$mathbbRd$に$n$のデータポイントのクラウドが与えられると、$mathbbRd$の$m$次元部分空間へのすべての射影を考える。
この確率分布の集まりは、$n,d$が大きくなるとどのように見えるか?
この極限の低次元射影として生じる $mathbbRm$ の確率分布の集合の α$ を $mathscrF_m で表すと、$mathscrF_ に新たな内界と外界を確立する。
論文 参考訳(メタデータ) (2022-06-14T00:07:33Z) - $\alpha$-GAN: Convergence and Estimation Guarantees [7.493779672689531]
一般CPE損失関数 GAN の min-max 最適化と、関連する$f$-divergences の最小化との対応性を証明する。
次に、$alpha$-GAN を $alpha$-loss で定義し、いくつかの GAN を補間し、有元発散の最小化に対応する。
論文 参考訳(メタデータ) (2022-05-12T23:26:51Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳(メタデータ) (2022-02-23T16:10:23Z) - All unconstrained strongly convex problems are weakly simplicial [2.223733768286313]
多目的最適化問題(英: multi-objective optimization problem)は、単純体からパレート集合/フロントへの$Cr$の代入が存在する場合、弱単純数である。
すべての制約のない$Cr$問題は、$leq r leq infty$に対して弱い単純性を持つ$Cr-1$である。
制約のない強凸問題は、すべて1leq r leq infty$に対して、C0$弱単純であることを示す。
論文 参考訳(メタデータ) (2021-06-24T00:30:28Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳(メタデータ) (2020-05-29T07:20:35Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳(メタデータ) (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。