論文の概要: Condition Numbers and Eigenvalue Spectra of Shallow Networks on Spheres
- arxiv url: http://arxiv.org/abs/2511.02625v2
- Date: Thu, 06 Nov 2025 02:21:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-07 13:46:06.495758
- Title: Condition Numbers and Eigenvalue Spectra of Shallow Networks on Spheres
- Title(参考訳): 球面浅層ネットワークの条件数と固有値スペクトル
- Authors: Xinliang Liu, Tong Mao, Jinchao Xu,
- Abstract要約: 本稿では,浅いReLU$k$ニューラルネットワークから発生するエンフマスおよびエンフスティフネス行列の条件数の推定を行う。
このスペクトル解析により、ネットワークの近似パワーとその安定性の正確な対応が確立される。
- 参考スコア(独自算出の注目度): 7.864201093845001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present an estimation of the condition numbers of the \emph{mass} and \emph{stiffness} matrices arising from shallow ReLU$^k$ neural networks defined on the unit sphere~$\mathbb{S}^d$. In particular, when $\{\theta_j^*\}_{j=1}^n \subset \mathbb{S}^d$ is \emph{antipodally quasi-uniform}, the condition number is sharp. Indeed, in this case, we obtain sharp asymptotic estimates for the full spectrum of eigenvalues and characterize the structure of the corresponding eigenspaces, showing that the smallest eigenvalues are associated with an eigenbasis of low-degree polynomials while the largest eigenvalues are linked to high-degree polynomials. This spectral analysis establishes a precise correspondence between the approximation power of the network and its numerical stability.
- Abstract(参考訳): 単位球~$\mathbb{S}^d$で定義された浅いReLU$^k$ニューラルネットワークから生じる「emph{mass}」および「emph{stiffness}」行列の条件数を推定する。
特に、$\{\theta_j^*\}_{j=1}^n \subset \mathbb{S}^d$ が \emph{antipodally quasi-uniform} の場合、条件番号はシャープである。
実際、この場合、固有値の全スペクトルに対する鋭い漸近推定値を取得し、対応する固有空間の構造を特徴づけ、最小の固有値が低次多項式の固有基底と結びついているのに対して、最大の固有値は高次多項式に結びついていることを示す。
このスペクトル解析により、ネットワークの近似パワーとその数値安定性の正確な対応が確立される。
関連論文リスト
- Complex Eigenvalues in a pseudo-Hermitian \{eta}-Laguerre ensemble [0.0]
不安定な行列アイソのアンサンブルをβ-ラゲールアンサンブルに対して検討する。
小さな非エルミート摂動の導入は対称性を破り、固有値を複素平面に駆動する。
これらの固有値の挙動は, 行列サイズが大きめの限界で解析され, 理論的予測は数値シミュレーションによって支持される。
論文 参考訳(メタデータ) (2025-11-12T00:27:49Z) - Lipschitz Bounds for Persistent Laplacian Eigenvalues under One-Simplex Insertions [0.0]
我々は、永続ラプラシアンに対して一様リプシッツを有界に証明する。
スペクトルトポロジカルデータ解析における最初の固有値レベルの保証を提供する。
論文 参考訳(メタデータ) (2025-06-26T15:03:54Z) - Tensor cumulants for statistical inference on invariant distributions [49.80012009682584]
我々は,PCAが信号の大きさの臨界値で計算的に困難になることを示す。
我々は、与えられた次数の不変量に対して明示的でほぼ直交的な基底を与える新しい対象の集合を定義する。
また、異なるアンサンブルを区別する新しい問題も分析できます。
論文 参考訳(メタデータ) (2024-04-29T14:33:24Z) - Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction [55.57072563835959]
本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。
具体的には、提案した固有値補正戦略により、固有値の均一分布が向上し、フィルタの適合能力と表現力が向上する。
論文 参考訳(メタデータ) (2024-01-28T08:12:00Z) - Topological complexity of spiked random polynomials and finite-rank
spherical integrals [2.1756081703276]
特に,有限ランクスパイクされたガウス・ウィグナー行列の平均臨界点数の指数式と局所パラメータの行列式を定式化する。
この分析は、[Guionnet, Husson] による有限ランク球面積分の最近の進歩に基づいて、多ランクスパイクされたガウス・ウィグナー行列の大きな偏差を研究する。
外部パラメータの正確なしきい値があり、一度超えると、複雑性関数は与えられたベクトルに臨界点が近い新しい領域に消える。
論文 参考訳(メタデータ) (2023-12-19T16:52:01Z) - Symmetry & Critical Points for Symmetric Tensor Decomposition Problems [6.123324869194196]
実対称テンソルをランク1項の和に分解する非最適化問題を考える。
使用法はリッチ対称性構造で構成され、問題次元においてプーズ級数で表される臨界点の無限の族を構成する。
論文 参考訳(メタデータ) (2023-06-13T16:25:30Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳(メタデータ) (2021-04-05T18:02:04Z) - A simpler spectral approach for clustering in directed networks [1.52292571922932]
隣接行列の固有値/固有ベクトル分解は、すべての一般的な方法よりも単純であることを示す。
広く使われているk平均アルゴリズムよりもガウス混合クラスタリングの方が優れていることを示す数値的な証拠を提供する。
論文 参考訳(メタデータ) (2021-02-05T14:16:45Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-28T18:52:37Z) - Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale
of Symmetry [9.695960412426672]
我々は,スプリアスミニマの様々な家系でヘッセンを解析的に特徴付ける。
特に、$dge k$ 標準ガウス入力について、 (a) ヘッセンの $dk$ 固有値の内、$dk - O(d)$ が 0 に近づき、 (b) $Omega(d)$ 固有値は $k$ で線型的に増加することを証明している。
論文 参考訳(メタデータ) (2020-08-04T20:08:35Z) - A Concentration of Measure and Random Matrix Approach to Large
Dimensional Robust Statistics [45.24358490877106]
本稿では,データコレクションである$X = (x_1,ldots,x_n)$を,$x_i = sqrt tau_i z_i + m$で推定する。
我々は、この半測度と測度引数の集中を利用して、ロバストな推定器の存在と特異性を証明し、その制限スペクトル分布を評価する。
論文 参考訳(メタデータ) (2020-06-17T09:02:26Z) - Profile Entropy: A Fundamental Measure for the Learnability and
Compressibility of Discrete Distributions [63.60499266361255]
離散分布のサンプルに対して、プロファイルエントロピーは推定、推論、圧縮の概念を統一する基本的な尺度であることを示す。
具体的には、プロファイルエントロピー a) は、最適自然推定器に対する分布を推定する速度を決定する; b) 任意のラベル不変分布コレクションに対する最適推定器と比較して全ての対称特性を推定する速度を特徴付ける; c) プロファイル圧縮の限界として機能する。
論文 参考訳(メタデータ) (2020-02-26T17:49:04Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳(メタデータ) (2020-02-25T23:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。