論文の概要: The Exploration of Neural Collapse under Imbalanced Data

• arxiv url: http://arxiv.org/abs/2411.17278v1
• Date: Tue, 26 Nov 2024 09:59:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:30:46.419860
• Title: The Exploration of Neural Collapse under Imbalanced Data
• Title（参考訳）: 不均衡データによる神経崩壊の探索
• Authors: Haixia Liu,
• Abstract要約: 我々は、バイアス項を持つ$L$拡張非制約特徴モデルを検討し、大域最小化の理論的解析を提供する。 1) 同一クラス内の特徴は, 偏りのない平衡ケースと不均衡ケースの両方と同様, クラス平均に収束する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Neural collapse, a newly identified characteristic, describes a property of solutions during model training. In this paper, we explore neural collapse in the context of imbalanced data. We consider the $L$-extended unconstrained feature model with a bias term and provide a theoretical analysis of global minimizer. Our findings include: (1) Features within the same class converge to their class mean, similar to both the balanced case and the imbalanced case without bias. (2) The geometric structure is mainly on the left orthonormal transformation of the product of $L$ linear classifiers and the right transformation of the class-mean matrix. (3) Some rows of the left orthonormal transformation of the product of $L$ linear classifiers collapse to zeros and others are orthogonal, which relies on the singular values of $\hat Y=(I_K-1/N\mathbf{n}1^\top_K)D$, where $K$ is class size, $\mathbf{n}$ is the vector of sample size for each class, $D$ is the diagonal matrix whose diagonal entries are given by $\sqrt{\mathbf{n}}$. Similar results are for the columns of the right orthonormal transformation of the product of class-mean matrix and $D$. (4) The $i$-th row of the left orthonormal transformation of the product of $L$ linear classifiers aligns with the $i$-th column of the right orthonormal transformation of the product of class-mean matrix and $D$. (5) We provide the estimation of singular values about $\hat Y$. Our numerical experiments support these theoretical findings.
• Abstract（参考訳）: ニューラル崩壊(Neural collapse)は、新たに同定された特徴であり、モデルトレーニング中の解の性質を記述している。 本稿では,不均衡データの文脈における神経崩壊について検討する。 我々は、バイアス項を持つ$L$拡張非制約特徴モデルを検討し、大域最小化の理論的解析を提供する。 1) 同一クラス内の特徴は, 偏りのない平衡ケースと不均衡ケースの両方と同様, クラス平均に収束する。 2) 幾何構造は、主に$L$線型分類器の積の左直交正規変換とクラス平均行列の右変換に基づいている。 (3)$L$ の積の左直交正規変換の行は 0 に崩壊し、その他の行は直交的であり、これは $\hat Y=(I_K-1/N\mathbf{n}1^\top_K)D$ の特異値に依存する。 同様の結果は、クラス平均行列と$D$の積の右直交正規変換の列に対するものである。 (4) 線型分類器の積の左正則変換の$i$-次列は、クラス平均行列と$D$の積の右正則変換の$i$-次列と整合する。 (5)$\hat Y$の特異値を推定する。 我々の数値実験はこれらの理論的な結果を支持する。

関連論文リスト

• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• One-sided Matrix Completion from Two Observations Per Row [95.87811229292056]
  行列の欠落値を$XTX$で計算する自然アルゴリズムを提案する。 合成データの一方の回収と低被覆ゲノムシークエンシングについて,本アルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2023-06-06T22:35:16Z)
• Learning linear dynamical systems under convex constraints [4.4351901934764975]
  線形力学系を単一軌道の$T$サンプルから同定する問題を考察する。 A*$は、制約のない設定に必要な値よりも$T$小さい値を確実に見積もることができる。
  論文  参考訳（メタデータ） (2023-03-27T11:49:40Z)
• Dimension free ridge regression [10.434481202633458]
  我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。 新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
  論文  参考訳（メタデータ） (2022-10-16T16:01:05Z)
• Perturbation Analysis of Randomized SVD and its Applications to High-dimensional Statistics [8.90202564665576]
  一般の「信号+雑音」の枠組みによるRSVDの統計特性について検討する。 3つの統計的推論問題に適用した場合、RSVDのほぼ最適性能保証を導出する。
  論文  参考訳（メタデータ） (2022-03-19T07:26:45Z)
• When Random Tensors meet Random Matrices [50.568841545067144]
  本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。 検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
  論文  参考訳（メタデータ） (2021-12-23T04:05:01Z)
• Classification of high-dimensional data with spiked covariance matrix structure [0.2741266294612775]
  我々は高次元データの分類問題を$n$で研究し、$p$の特徴を観察する。 本稿では,まず,次元還元空間における分類に先立って特徴ベクトルの次元還元を行う適応型分類器を提案する。 結果の分類器は、$n rightarrow infty$ および $s sqrtn-1 ln p rightarrow 0$ のときにベイズ最適であることが示される。
  論文  参考訳（メタデータ） (2021-10-05T11:26:53Z)
• Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
  関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
  論文  参考訳（メタデータ） (2021-09-06T14:21:43Z)
• Truncated Linear Regression in High Dimensions [26.41623833920794]
  truncated linear regression において、従属変数 $(A_i, y_i)_i$ は $y_i= A_irm T cdot x* + eta_i$ は固定された未知の興味ベクトルである。 目標は、$A_i$とノイズ分布に関するいくつかの好ましい条件の下で$x*$を回復することである。 我々は、$k$-sparse $n$-dimensional vectors $x*$ from $m$ truncated sample。
  論文  参考訳（メタデータ） (2020-07-29T00:31:34Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。