論文の概要: Critical Points of Random Neural Networks
- arxiv url: http://arxiv.org/abs/2505.17000v1
- Date: Thu, 22 May 2025 17:57:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:48.54645
- Title: Critical Points of Random Neural Networks
- Title（参考訳）: ランダムニューラルネットワークの臨界点
- Authors: Simmaco Di Lillo,
- Abstract要約: 本研究では、無限幅限界の深さが増加するにつれて、アクティベーション関数が異なるランダムニューラルネットワークの臨界点数について検討する。
適切な条件下では、固定された指標の臨界点の数と与えられた閾値を超える点の正確な式を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work investigates the expected number of critical points of random neural networks with different activation functions as the depth increases in the infinite-width limit. Under suitable regularity conditions, we derive precise asymptotic formulas for the expected number of critical points of fixed index and those exceeding a given threshold. Our analysis reveals three distinct regimes depending on the value of the first derivative of the covariance evaluated at 1: the expected number of critical points may converge, grow polynomially, or grow exponentially with depth. The theoretical predictions are supported by numerical experiments. Moreover, we provide numerical evidence suggesting that, when the regularity condition is not satisfied (e.g. for neural networks with ReLU as activation function), the number of critical points increases as the map resolution increases, indicating a potential divergence in the number of critical points.
- Abstract（参考訳）: 本研究では、無限幅限界の深さが増加するにつれて、アクティベーション関数が異なるランダムニューラルネットワークの臨界点数について検討する。
適切な正則性条件の下では、一定指数の臨界点数と与えられた閾値を超える点の正確な漸近式を導出する。
解析の結果,1 で評価された共分散の第一微分の値に依存する3つの異なる状態が明らかとなった。
理論的予測は数値実験によって支持される。
さらに、正規性条件が満たされない場合(例えば、ReLUを活性化関数とするニューラルネットワークの場合)、地図の解像度が大きくなるにつれて臨界点の数が増加し、臨界点の数に潜在的なばらつきがあることを示す数値的な証拠を提供する。
関連論文リスト
- Advancing the Understanding of Fixed Point Iterations in Deep Neural Networks: A Detailed Analytical Study [23.991344681741058]
ニューラルネットワークによってモデル化されたベクトル値関数において、固定点反復の詳細な解析を行う。
我々は、様々な入力領域に基づいて、ループニューラルネットワークの複数の固定点が存在するための十分な条件を確立する。
我々の手法はニューラルネットワークのメカニズムの理解を深めるかもしれない。
論文 参考訳（メタデータ） (2024-10-15T04:57:02Z) - Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression [4.983567824636051]
本研究は、非パラメトリック推定とパラメトリックスパースディープニューラルネットワークを初めて組み合わせたものである。
偏微分の非パラメトリック推定は非線形変数選択にとって非常に重要であるため、現在の結果はディープニューラルネットワークの解釈可能性に有望な未来を示すものである。
論文 参考訳（メタデータ） (2024-06-26T07:41:41Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Training Integrable Parameterizations of Deep Neural Networks in the
Infinite-Width Limit [0.0]
大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。
2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。
この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
論文 参考訳（メタデータ） (2021-10-29T07:53:35Z) - Analytical aspects of non-differentiable neural networks [0.0]
本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。
ここでは,QNN が DNN と同じ表現性を持つことを示す。
また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
論文 参考訳（メタデータ） (2020-11-03T17:20:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。