Fugu-MT 論文翻訳(概要): Neural Collapse with Cross-Entropy Loss

論文の概要: Neural Collapse with Cross-Entropy Loss

arxiv url: http://arxiv.org/abs/2012.08465v2
Date: Mon, 18 Jan 2021 23:53:04 GMT
ステータス: 処理完了
システム内更新日: 2021-05-07 10:10:52.245880
Title: Neural Collapse with Cross-Entropy Loss
Title（参考訳）: クロスエントロピー損失を伴う神経崩壊
Authors: Jianfeng Lu, Stefan Steinerberger
Abstract要約: 我々は、単位超球面上の n$ 特徴ベクトルを持つ交叉エントロピー損失の変分問題である $mathbbrd$ を考える。我々は、$d geq n - 1$の場合、グローバル最小値は、神経崩壊の挙動を正当化する単純角タイトフレームによって与えられることを証明します。
参考スコア（独自算出の注目度）: 6.336005544376984
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider the variational problem of cross-entropy loss with $n$ feature vectors on a unit hypersphere in $\mathbb{R}^d$. We prove that when $d \geq n - 1$, the global minimum is given by the simplex equiangular tight frame, which justifies the neural collapse behavior. We also prove that as $n \rightarrow \infty$ with fixed $d$, the minimizing points will distribute uniformly on the hypersphere and show a connection with the frame potential of Benedetto & Fickus.
Abstract（参考訳）: 我々は、単位超球面上の n$ 特徴ベクトルを $\mathbb{r}^d$ とするクロスエントロピー損失の変分問題を考える。我々は、$d \geq n1$ のとき、大域的最小値は、神経崩壊の振る舞いを正当化するsimplex equiangular tight frameによって与えられることを証明する。また、固定$d$の$n \rightarrow \infty$として、極小化点は超球面上で一様に分布し、ベネデット・アンド・フィッカスのフレームポテンシャルとの接続を示す。

関連論文リスト

Monge-Kantorovich Fitting With Sobolev Budgets [6.748324975906262]
近似の性能をMonge-Kantorovich $p$-costで定量化する。次に、ソボレフ予算の制約の下で、機能的$mathscrJ_p(f)$を最小化するものとして問題を再構築する。
論文参考訳（メタデータ） (2024-09-25T01:30:16Z)
Entanglement Negativity and Replica Symmetry Breaking in General Holographic States [0.0]
ランダムテンソルネットワーク(RTN)では、R'enyi negativity $mathcalE (2k)$さえも計算する支配的なサドルが、$mathbbZ_2k$レプリカ対称性を総称的に破ることがわかった。これは2次元CFT法によるホログラムの負性率の以前の計算に疑問を投げかけるものである。一般ホログラフィック状態において、$mathcalE (2k)$のサドルが実際に$mathbbZ_2k$のレプリカ対称性を破っていることを示す。
論文参考訳（メタデータ） (2024-09-19T18:00:00Z)
Impossibility of latent inner product recovery via rate distortion [1.1510009152620668]
d gtrsim n h(p)$ ここで、$h(p)$ が二元エントロピー函数であれば、内部積を回復することは不可能である。この証明は、確立された速度歪曲理論に従う。
論文参考訳（メタデータ） (2024-07-16T17:23:29Z)
A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文参考訳（メタデータ） (2023-09-25T17:54:19Z)
Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文参考訳（メタデータ） (2023-02-27T16:34:21Z)
Some Remarks on the Regularized Hamiltonian for Three Bosons with Contact Interactions [77.34726150561087]
3次元のゼロレンジ力を介して相互作用する3つのボソン系のモデルハミルトンの性質について論じる。特に、適当な二次形式 $Q$ から始め、自己随伴およびハミルトンの$mathcal H$ の下から有界となるものを構築することができる。しきい値 $gamma_c$ が最適であることは、次の2次形式 $Q$ が下から非有界であるという意味では、$gamma_c$ が最適であることを示している。
論文参考訳（メタデータ） (2022-07-01T10:01:14Z)
Overparametrized linear dimensionality reductions: From projection pursuit to two-layer neural networks [10.368585938419619]
$mathbbRd$に$n$のデータポイントのクラウドが与えられると、$mathbbRd$の$m$次元部分空間へのすべての射影を考える。この確率分布の集まりは、$n,d$が大きくなるとどのように見えるか? この極限の低次元射影として生じる $mathbbRm$ の確率分布の集合の α$ を $mathscrF_m で表すと、$mathscrF_ に新たな内界と外界を確立する。
論文参考訳（メタデータ） (2022-06-14T00:07:33Z)
$\alpha$-GAN: Convergence and Estimation Guarantees [7.493779672689531]
一般CPE損失関数 GAN の min-max 最適化と、関連する$f$-divergences の最小化との対応性を証明する。次に、$alpha$-GAN を $alpha$-loss で定義し、いくつかの GAN を補間し、有元発散の最小化に対応する。
論文参考訳（メタデータ） (2022-05-12T23:26:51Z)
A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文参考訳（メタデータ） (2022-02-23T16:10:23Z)
Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文参考訳（メタデータ） (2020-05-29T07:20:35Z)
Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。我々はCIFARに関する実験結果を示し,その理論を検証した。
論文参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。