論文の概要: Nonlinear Dynamics In Optimization Landscape of Shallow Neural Networks with Tunable Leaky ReLU

• arxiv url: http://arxiv.org/abs/2510.25060v1
• Date: Wed, 29 Oct 2025 01:00:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.893007
• Title: Nonlinear Dynamics In Optimization Landscape of Shallow Neural Networks with Tunable Leaky ReLU
• Title（参考訳）: 可変リークReLUを持つ浅層ニューラルネットワークの最適化景観における非線形ダイナミクス
• Authors: Jingzhou Liu,
• Abstract要約: 平均二乗損失とリークReLU活性化を訓練した浅部ニューラルネットワークの非線形ダイナミクスについて検討した。 リークパラメータ $alpha$ が変化するにつれて, 関連する対称性を持つ臨界点の分岐を世界最小値から検出する。
• 参考スコア（独自算出の注目度）: 3.2063364612188416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we study the nonlinear dynamics of a shallow neural network trained with mean-squared loss and leaky ReLU activation. Under Gaussian inputs and equal layer width k, (1) we establish, based on the equivariant gradient degree, a theoretical framework, applicable to any number of neurons k>= 4, to detect bifurcation of critical points with associated symmetries from global minimum as leaky parameter $\alpha$ varies. Typically, our analysis reveals that a multi-mode degeneracy consistently occurs at the critical number 0, independent of k. (2) As a by-product, we further show that such bifurcations are width-independent, arise only for nonnegative $\alpha$ and that the global minimum undergoes no further symmetry-breaking instability throughout the engineering regime $\alpha$ in range (0,1). An explicit example with k=5 is presented to illustrate the framework and exhibit the resulting bifurcation together with their symmetries.
• Abstract（参考訳）: 本研究では、平均二乗損失とリークReLU活性化を訓練した浅部ニューラルネットワークの非線形ダイナミクスについて検討する。 ガウス入力と等層幅 k の下では、(1) 任意のニューロン k>= 4 の任意の数に適用可能な理論的枠組みである等変勾配度に基づいて、漏洩パラメータ $\alpha$ が変化するように、関連する対称性を持つ臨界点の分岐を検出する。 典型的には、我々の分析は k とは独立な臨界数 0 において、多重モードの退化が一貫して起こることを明らかにしている。 2) 副生成物として、そのような分岐は幅非依存であり、非負の$\alpha$に対してのみ発生し、大域的な最小値が工学系全体において$\alpha$ in range (0,1) の対称性を破る不安定性を持たないことを示す。 k=5 の明示的な例は、フレームワークを説明し、その結果の分岐と対称性を示すものである。

関連論文リスト

• Wide Neural Networks as a Baseline for the Computational No-Coincidence Conjecture [2.2201528765499416]
  ランダムニューラルネットワークは、ガウス測度において、その活性化関数がゼロ平均で非線形であるときに、ほぼ独立な出力を持つことを示す: $mathbbE_z sim MathcalN(0,1)[sigma(z)]=0$。 ほぼ独立したアウトプットのため、アライメント研究センターの計算的非衝突予測の候補として、ゼロ平均アクティベーション関数を持つニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2025-10-08T00:02:22Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• On the Omnipresence of Spurious Local Minima in Certain Neural Network Training Problems [0.0]
  本研究では,1次元実出力を持つ深層ニューラルネットワークにおける学習課題の損失状況について検討する。 このような問題は、アフィンでないすべての対象函数に対して、刺激的(すなわち、大域的最適ではない)局所ミニマの連続体を持つことが示されている。
  論文  参考訳（メタデータ） (2022-02-23T14:41:54Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• On the Stability Properties and the Optimization Landscape of Training Problems with Squared Loss for Neural Networks and General Nonlinear Conic Approximation Schemes [0.0]
  ニューラルネットワークと一般的な非線形円錐近似スキームの2乗損失を伴うトレーニング問題の最適化景観と安定性特性について検討する。 これらの不安定性に寄与する同じ効果が、サドル点や急激な局所ミニマの出現の原因でもあることを証明している。
  論文  参考訳（メタデータ） (2020-11-06T11:34:59Z)
• Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale of Symmetry [9.695960412426672]
  我々は,スプリアスミニマの様々な家系でヘッセンを解析的に特徴付ける。 特に、$dge k$ 標準ガウス入力について、 (a) ヘッセンの $dk$ 固有値の内、$dk - O(d)$ が 0 に近づき、 (b) $Omega(d)$ 固有値は $k$ で線型的に増加することを証明している。
  論文  参考訳（メタデータ） (2020-08-04T20:08:35Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。