論文の概要: The stability of shallow neural networks on spheres: A sharp spectral analysis
- arxiv url: http://arxiv.org/abs/2511.02625v1
- Date: Tue, 04 Nov 2025 14:54:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 18:47:06.082005
- Title: The stability of shallow neural networks on spheres: A sharp spectral analysis
- Title（参考訳）: 浅部ニューラルネットワークの球面安定性:鋭スペクトル解析
- Authors: Xinliang Liu, Tong Mao, Jinchao Xu,
- Abstract要約: 本稿では,浅いReLU$k$ニューラルネットワークから発生するエンフマスおよびエンフスティフネス行列の条件数の推定を行う。
このスペクトル解析により、ネットワークの近似パワーとその安定性の正確な対応が確立される。
- 参考スコア（独自算出の注目度）: 7.864201093845001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present an estimation of the condition numbers of the \emph{mass} and \emph{stiffness} matrices arising from shallow ReLU$^k$ neural networks defined on the unit sphere~$\mathbb{S}^d$. In particular, when $\{\theta_j^*\}_{j=1}^n \subset \mathbb{S}^d$ is \emph{antipodally quasi-uniform}, the condition number is sharp. Indeed, in this case, we obtain sharp asymptotic estimates for the full spectrum of eigenvalues and characterize the structure of the corresponding eigenspaces, showing that the smallest eigenvalues are associated with an eigenbasis of low-degree polynomials while the largest eigenvalues are linked to high-degree polynomials. This spectral analysis establishes a precise correspondence between the approximation power of the network and its numerical stability.
- Abstract（参考訳）: 単位球~$\mathbb{S}^d$で定義された浅いReLU$^k$ニューラルネットワークから生じる「emph{mass}」および「emph{stiffness}」行列の条件数を推定する。
特に、$\{\theta_j^*\}_{j=1}^n \subset \mathbb{S}^d$ が \emph{antipodally quasi-uniform} の場合、条件番号はシャープである。
実際、この場合、固有値の全スペクトルに対する鋭い漸近推定値を取得し、対応する固有空間の構造を特徴づけ、最小の固有値が低次多項式の固有基底と結びついているのに対して、最大の固有値は高次多項式に結びついていることを示す。
このスペクトル解析により、ネットワークの近似パワーとその数値安定性の正確な対応が確立される。
関連論文リスト
- Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction [55.57072563835959]
本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。
具体的には、提案した固有値補正戦略により、固有値の均一分布が向上し、フィルタの適合能力と表現力が向上する。
論文 参考訳（メタデータ） (2024-01-28T08:12:00Z) - Topological complexity of spiked random polynomials and finite-rank
spherical integrals [2.1756081703276]
特に,有限ランクスパイクされたガウス・ウィグナー行列の平均臨界点数の指数式と局所パラメータの行列式を定式化する。
この分析は、[Guionnet, Husson] による有限ランク球面積分の最近の進歩に基づいて、多ランクスパイクされたガウス・ウィグナー行列の大きな偏差を研究する。
外部パラメータの正確なしきい値があり、一度超えると、複雑性関数は与えられたベクトルに臨界点が近い新しい領域に消える。
論文 参考訳（メタデータ） (2023-12-19T16:52:01Z) - Symmetry & Critical Points for Symmetric Tensor Decomposition Problems [6.123324869194196]
実対称テンソルをランク1項の和に分解する非最適化問題を考える。
使用法はリッチ対称性構造で構成され、問題次元においてプーズ級数で表される臨界点の無限の族を構成する。
論文 参考訳（メタデータ） (2023-06-13T16:25:30Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-28T18:52:37Z) - Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale
of Symmetry [9.695960412426672]
我々は,スプリアスミニマの様々な家系でヘッセンを解析的に特徴付ける。
特に、$dge k$ 標準ガウス入力について、 (a) ヘッセンの $dk$ 固有値の内、$dk - O(d)$ が 0 に近づき、 (b) $Omega(d)$ 固有値は $k$ で線型的に増加することを証明している。
論文 参考訳（メタデータ） (2020-08-04T20:08:35Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳（メタデータ） (2020-02-25T23:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。