論文の概要: Sharp description of local minima in the loss landscape of high-dimensional two-layer ReLU neural networks

• arxiv url: http://arxiv.org/abs/2604.09412v1
• Date: Fri, 10 Apr 2026 15:26:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.928636
• Title: Sharp description of local minima in the loss landscape of high-dimensional two-layer ReLU neural networks
• Title（参考訳）: 高次元2層ReLUニューラルネットワークのロスランドスケープにおける局所最小値のシャープ記述
• Authors: Jie Huang, Bruno Loureiro, Stefano Sarao Mannelli,
• Abstract要約: 本研究では,2層ReLUネットワークにおける2層ReLUの人口減少状況について,実感可能な教師学生設定で,$sum_k=1K MathrmReLU(w_ktop x)$で検討する。 局所的なミニマは概略統計学において正確な低次元表現を許容し,景観の鋭く解釈可能な特徴化をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 20.025943027616048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the population loss landscape of two-layer ReLU networks of the form $\sum_{k=1}^K \mathrm{ReLU}(w_k^\top x)$ in a realisable teacher-student setting with Gaussian covariates. We show that local minima admit an exact low-dimensional representation in terms of summary statistics, yielding a sharp and interpretable characterisation of the landscape. We further establish a direct link with one-pass SGD: local minima correspond to attractive fixed points of the dynamics in summary statistics space. This perspective reveals a hierarchical structure of minima: they are typically isolated in the well-specified regime, but become connected by flat directions as network width increases. In this overparameterised regime, global minima become increasingly accessible, attracting the dynamics and reducing convergence to spurious solutions. Overall, our results reveal intrinsic limitations of common simplifying assumptions, which may miss essential features of the loss landscape even in minimal neural network models.
• Abstract（参考訳）: ガウス共変量を用いた実存的な教師学生設定において, 2層ReLUネットワークの人口減少状況について, $\sum_{k=1}^K \mathrm{ReLU}(w_k^\top x)$ を用いて検討した。 局所的なミニマは概略統計学において正確な低次元表現を許容し,景観の鋭く解釈可能な特徴化をもたらすことを示す。 さらに、ワンパスSGDと直接リンクを確立する: 局所ミニマは、要約統計空間における力学の魅力的な固定点に対応する。 この視点はミニマの階層構造を明らかにしており、通常は明確に定義された状態において孤立しているが、ネットワーク幅が増加するにつれて平坦な方向で接続される。 この過度にパラメータ化された状態において、地球規模のミニマはますますアクセスしやすくなり、ダイナミックスを引き寄せ、急激な解への収束を減らした。 本研究の結果から,最小限のニューラルネットワークモデルにおいても,損失ランドスケープの本質的特徴を欠くような,単純化された仮定の本質的な限界が明らかとなった。

関連論文リスト

• Simplicity Bias via Global Convergence of Sharpness Minimization [43.658859631741024]
  ラベルノイズSGDは、2層ネットワークにおける損失ゼロのモデル多様体のシャープネスを常に最小化することを示す。 また、ゼロ損失多様体上の近似定常点における損失のヘッセンのトレースの新たな性質も見いだす。
  論文  参考訳（メタデータ） (2024-10-21T18:10:37Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Geometry and Local Recovery of Global Minima of Two-layer Neural Networks at Overparameterization [4.418361486640713]
  大域ミニマ付近の2層ニューラルネットワークにおける損失景観の幾何学について検討する。 一般化誤差ゼロの大域的ミニマが、サンプルサイズが大きくなるにつれて、他の大域的ミニマと幾何的に分離されるかを示す。
  論文  参考訳（メタデータ） (2023-09-01T14:53:51Z)
• Mildly Overparameterized ReLU Networks Have a Favorable Loss Landscape [8.425040193238777]
  その結果,ほとんどのアクティベーションパターンは,局所最小値が低いパラメータ領域に対応していることがわかった。 1次元の入力データに対して、ネットワークによって実現可能なほとんどの活性化領域は、高次元の大域的ミニマと悪い局所的ミニマを含んでいないことを示す。
  論文  参考訳（メタデータ） (2023-05-31T02:49:13Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Neighborhood Region Smoothing Regularization for Finding Flat Minima In Deep Neural Networks [16.4654807047138]
  我々はNRS(Neighborhood Region Smoothing)と呼ばれる効果的な正規化手法を提案する。 NRSは、近似出力を得るために、重量空間の近傍領域を規則化しようとする。 NRSによって発見されたミニマは、従来の方法に比べて比較的小さなヘッセン固有値を持つことを実証的に示す。
  論文  参考訳（メタデータ） (2022-01-16T15:11:00Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。