論文の概要: Asymptotic Smoothing of the Lipschitz Loss Landscape in Overparameterized One-Hidden-Layer ReLU Networks

• arxiv url: http://arxiv.org/abs/2602.17596v1
• Date: Thu, 19 Feb 2026 18:20:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.296287
• Title: Asymptotic Smoothing of the Lipschitz Loss Landscape in Overparameterized One-Hidden-Layer ReLU Networks
• Title（参考訳）: リプシッツ・ロスランドスケープの1Hdden-Layer ReLUネットワークにおける漸近的平滑化
• Authors: Saveliy Baturin,
• Abstract要約: 同じ損失レベルにある全てのモデルが、任意に小さな損失の範囲内で連続的な経路で接続可能であることを示す。 合成ムーンズデータセットとウィスコンシン乳がんデータセットでは、より広いネットワークはより小さなギャップを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the topology of the loss landscape of one-hidden-layer ReLU networks under overparameterization. On the theory side, we (i) prove that for convex $L$-Lipschitz losses with an $\ell_1$-regularized second layer, every pair of models at the same loss level can be connected by a continuous path within an arbitrarily small loss increase $ε$ (extending a known result for the quadratic loss); (ii) obtain an asymptotic upper bound on the energy gap $ε$ between local and global minima that vanishes as the width $m$ grows, implying that the landscape flattens and sublevel sets become connected in the limit. Empirically, on a synthetic Moons dataset and on the Wisconsin Breast Cancer dataset, we measure pairwise energy gaps via Dynamic String Sampling (DSS) and find that wider networks exhibit smaller gaps; in particular, a permutation test on the maximum gap yields $p_{perm}=0$, indicating a clear reduction in the barrier height.
• Abstract（参考訳）: オーバーパラメータ化下での一層ReLUネットワークの損失景観のトポロジーについて検討する。 理論面では、我々は i) 凸$L$-Lipschitz損失を$\ell_1$-regularized 2層で証明すると、同じ損失レベルの全てのモデル対は、任意に小さな損失の増加である$ε$で連続経路で接続できる(二次損失の既知の結果の延長)。 2) 局所的および大域的ミニマの間のエネルギーギャップ$ε$の漸近上界を求め、その幅$m$が大きくなると消滅し、風景の平坦化と下層集合が極限で連結されることを示唆する。 実験的に、合成ムーンスデータセットとウィスコンシン乳がんデータセットを用いて、ダイナミックストリングサンプリング(DSS)を介してペアのエネルギーギャップを測定し、より広いネットワークがより小さなギャップを示すことを発見した。

関連論文リスト

• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• Convergence of Shallow ReLU Networks on Weakly Interacting Data [5.618969269882913]
  我々は,n$のデータ点上の勾配流によって訓練された一層ReLUネットワークの収束解析を行う。 次数$log(n)$ニューロンの幅を持つネットワークは、高い確率で大域収束するのに十分であることを示す。
  論文  参考訳（メタデータ） (2025-02-24T09:07:14Z)
• Noisy Interpolation Learning with Shallow Univariate ReLU Networks [33.900009202637285]
  Mallinar et. al. 2022 は、ニューラルネットワークはしばしば誘惑的な過剰適合を示すが、人口リスクはベイズ最適誤差に収束しないと指摘した。 最小重み付き回帰の過度適合挙動を厳密に分析した。
  論文  参考訳（メタデータ） (2023-07-28T08:41:12Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Detection-Recovery Gap for Planted Dense Cycles [72.4451045270967]
  期待帯域幅$n tau$とエッジ密度$p$をエルドホス=R'enyiグラフ$G(n,q)$に植え込むモデルを考える。 低次アルゴリズムのクラスにおいて、関連する検出および回復問題に対する計算しきい値を特徴付ける。
  論文  参考訳（メタデータ） (2023-02-13T22:51:07Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Analytic Study of Families of Spurious Minima in Two-Layer ReLU Neural Networks [15.711517003382484]
  ヘッセンスペクトルは、$d$で成長する$Theta(d)$固有値を除いて、正近傍に集中していることが示される。 これにより、分岐理論の強力な道具を用いてミニマの作成と消滅が可能となる。
  論文  参考訳（メタデータ） (2021-07-21T22:05:48Z)
• Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
  勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
  論文  参考訳（メタデータ） (2020-10-01T16:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。