論文の概要: Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections
- arxiv url: http://arxiv.org/abs/2609.28438v1
- Date: Wed, 23 Sep 2026 17:37:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.135326
- Title: Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections
- Title（参考訳）: 最小ノルム一様二層ReLU分類:スキップ接続による厳密解と大域的最適性
- Abstract要約: 単層ReLUネットワークによる二元分類のための最小ノルムおよび$ell$regularized logistic-loss最小化について検討する。
パラメータノルムに隠れ層バイアスが組み込まれているかどうかにどのように依存するかを示す。
アンペナル化バイアスの場合、スペーサのような制限が加わり、ほとんどの極小ノルム補間器が小さな正則化限界として生じないことが示唆される。
- 参考スコア（独自算出の注目度）: 8.392981584615955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study minimal-norm interpolation and $\ell_2$-regularized logistic-loss minimization for binary classification by univariate two-layer ReLU networks. We give complete geometric characterizations of the optimal classifiers in function space, resolving how the solutions depend on whether hidden-layer biases are included in the parameter norm. When biases are unpenalized, the minimal-norm interpolators are exactly the continuous piecewise-affine functions that hug every label switch and have kinks of the appropriate convexity. When biases are penalized, the minimizer is unique in function space, has exactly one kink in each intermediate same-label segment, and is therefore a sparsest positive-margin classifier. We further show that adding a free affine skip connection leaves these function-space solutions unchanged but fundamentally improves the parameter-space landscape: every KKT point of the constrained problem becomes globally optimal, whereas suboptimal KKT points can occur without the skip connection. We establish analogous global-optimality and geometric results for sufficiently weak $\ell_2$-regularization of the logistic loss. In the unpenalized-bias case, we identify an additional sparsity-like restriction, implying that most minimal-norm interpolators cannot arise as small-regularization limits of margin-normalized logistic-loss minimizers. Numerical experiments across varying dataset complexity and network width support the predicted landscape and sparsity phenomena.
- Abstract（参考訳）: 単変量2層ReLUネットワークによる二値分類のための最小ノルム補間および$\ell_2$-regularized logistic-loss最小化について検討した。
関数空間における最適分類器の完全な幾何学的特徴を与え、その解がパラメータノルムに隠れ層バイアスが含まれているかどうかにどのように依存するかを解明する。
バイアスが不注意の場合、最小ノルム補間器は、すべてのラベルスイッチを抱きしめ、適切な凸性を持つような、正確には連続的なピースワイズアフィン関数である。
バイアスがペナル化されるとき、最小化器は関数空間において一意であり、各中間同ラベルセグメントにちょうど1つのシンクを持ち、したがって最も広い正正のマージン分類器である。
さらに、自由アフィンスキップ接続を追加すると、これらの関数空間の解は変わらないが、パラメータ空間のランドスケープは根本的に改善され、制約された問題のすべてのKKTポイントが大域的に最適となるのに対して、最適でないKKTポイントはスキップ接続なしで起こりうることを示す。
我々は、ロジスティック損失の$\ell_2$-regularizationに対して、類似のグローバル最適性と幾何学的結果を確立する。
非垂直化バイアスの場合、余剰正規化ロジスティック損失最小化器の小さな正則化限界として、ほとんどの最小ノルム補間器が生じないことを暗示する、余剰のような制限を課す。
様々なデータセットの複雑さとネットワーク幅にわたる数値実験は、予測されたランドスケープとスパーシティ現象をサポートする。
関連論文リスト
- Stability-Constrained Approximation in Spline KANs: Exact Layer Balancing and Budget-Compatible Saturation [51.56484100374058]
我々は、ハードレイヤーワイドリプシッツ予算の下で近似を研究する。
構成条件下では、対応するレイヤエラーをキャンセルする必要はないことを示す。
クラスのすべての作用素に対して、安定した深さ-$L$タワーが存在し、累積誤差の定数分を実現できる。
論文 参考訳（メタデータ） (2026-09-14T20:17:04Z) - How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression? [27.523011286375947]
本稿では,高次元のランダムな特徴に対する2乗損失を伴う浅部ReLUモデルのトレーニングにおいて,勾配降下(GD)の暗黙バイアスを特徴付ける。
この2つの極性の間に補間を行い、十分に高次元のランダムなデータに対して、暗黙の偏差は高い確率で最小l2-ノルム解に近似することを示した。
論文 参考訳（メタデータ） (2026-03-05T07:36:07Z) - Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。
以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文 参考訳（メタデータ） (2025-10-22T19:06:39Z) - Zeroth-Order Optimization Finds Flat Minima [51.41529512093436]
標準二点推定器によるゼロ階最適化は、ヘッセンの小さなトレースを持つ解を好むことを示す。
さらに、凸関数と十分に滑らかな関数に対する近似平坦なミニマに対して、ゼロ階最適化の収束率を提供する。
論文 参考訳（メタデータ） (2025-06-05T17:59:09Z) - Stable Minima Cannot Overfit in Univariate ReLU Networks: Generalization by Large Step Sizes [29.466981306355066]
固定学習率$eta$の勾配降下はスムーズな関数を表す局所最小値しか見つからないことを示す。
また、$n$のデータポイントのサポートの厳密な内部で、$widetildeO(n-4/5)$のほぼ最適MSE境界を証明します。
論文 参考訳（メタデータ） (2024-06-10T22:57:27Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳（メタデータ） (2023-07-17T09:55:35Z) - Typical and atypical solutions in non-convex neural networks with
discrete and continuous weights [2.7127628066830414]
ランダムな規則や関連を学習する単純な非拘束型ネットワークモデルとして、二項および連続負マージンパーセプトロンについて検討する。
どちらのモデルも、非常に平坦で幅の広い劣支配的な最小化器を示す。
両モデルにおいて、学習装置としての一般化性能は、広い平坦な最小化器の存在により大幅に向上することを示した。
論文 参考訳（メタデータ） (2023-04-26T23:34:40Z) - Gradient flows and randomised thresholding: sparse inversion and
classification [0.0]
スパースインバージョンと分類問題は、現代のデータサイエンスとイメージングにおいて至るところに存在している。
分類において、例えば、データの忠実度項と非滑らかなギンズバーグ-ランダウエネルギーの和を考える。
標準(サブ)勾配降下法はそのような問題にアプローチする際に非効率であることが示されている。
論文 参考訳（メタデータ） (2022-03-22T09:21:14Z) - Federated Functional Gradient Boosting [75.06942944563572]
フェデレーション学習における機能最小化に関する研究
FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
論文 参考訳（メタデータ） (2021-03-11T21:49:19Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳（メタデータ） (2020-10-31T21:35:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。