論文の概要: "Deep lifts": Neural networks can generalize even with the dumbest optimizer
- arxiv url: http://arxiv.org/abs/2610.23009v1
- Date: Fri, 16 Oct 2026 06:37:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.796941
- Title: "Deep lifts": Neural networks can generalize even with the dumbest optimizer
- Title（参考訳）: ディープリフト」:ニューラルネットワークは最も愚かなオプティマイザでも一般化できる
- Abstract要約: データセットを$w$-by-d$ ReLUネットワークで説明できる場合、$hat$の一般化特性について検討する。
hat$に対する選択規則の曖昧さにもかかわらず、完全な$W$-by-D$仮説クラスのVC次元に支配されるのではなく、$tilde Oleft(fracwdWDnright)$で適応的に一般化する。
- 参考スコア（独自算出の注目度）: 20.15626817936522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given a labeled dataset $\{(x_i, y_i)\}_{i = 1}^n$, consider drawing a parameter vector $\hatθ$ uniformly at random from those that interpolate the data within a width-$W$ depth-$D$ ReLU architecture with continuous weights bounded within $[-M, M]$. We study the generalization properties of $\hatθ$ in the case where the dataset can, in fact, be explained by a smaller $w$-by-$d$ ReLU network. Despite the obliviousness of the selection rule for $\hatθ$, it adaptively generalizes at the rate $\tilde O\left(\frac{wdWD}{n}\right)$, rather than being governed by the VC dimension of the full $W$-by-$D$ hypothesis class. The reason is due to a particular inductive bias in ReLU networks: the $w$-by-$d$ parameter *witnesses* an exponential volume of $W$-by-$D$ interpolating parameters, which dwarfs the volume of poorly generalizing parameters (conditioned on interpolation). We explicitly construct this set of near-equivalent $W$-by-$D$ parameters by a proof technique called *deep lifting*, and then tie the achievable volume to stability properties of the $w$-by-$d$ witness. Examples show that these techniques allow us to convert approximation-theoretic results into generalization guarantees for nonparametric classes. We further show that generalization of uniform-random interpolators can survive label corruptions.
- Abstract（参考訳）: ラベル付きデータセット $\{(x_i, y_i)\}_{i = 1}^n$ が与えられたとき、パラメータベクトル $\hatθ$ を、幅-$W$ depth-$D$ ReLU アーキテクチャでデータを補間したものからランダムに描画する。
データセットが実際に、より小さな$w$-by-d$ ReLUネットワークで説明できる場合、$\hatθ$の一般化特性について検討する。
$\hatθ$ の選択規則の曖昧さにもかかわらず、完全な$W$-by-D$仮説クラスの VC 次元に支配されるのではなく、$\tilde O\left(\frac{wdWD}{n}\right)$ で適応的に一般化する。
w$-by-$$$パラメータ *witnesses* 補間パラメータの指数体積$W$-by-$D$は、(補間で条件づけられた)粗一般化パラメータの体積を小さくする。
ほぼ等価な$W$-by-D$パラメータの集合を *deep lifting* と呼ばれる証明手法で明示的に構成し、達成可能な体積を$w$-by-d$証人の安定性特性に結びつける。
これらの手法により近似理論の結果を非パラメトリッククラスに対する一般化保証に変換することができることを示す。
さらに,一様ランダム補間器の一般化はラベルの破損を乗り越えることができることを示す。
関連論文リスト
- Rényi exponent landscape of multipartite entanglement in free-fermion systems [51.56484100374058]
我々は、Rényi tripartite information $I_3() が小フェルミ運動量での質的に $exclusion-dependent scaling を示すことを示した。
I_m(n)/I_m(1) sim zm-1 to 0$ for all integer $n geq 2$, so the leading von Neumann signal can builded from integer Rényi data。
論文 参考訳（メタデータ） (2026-03-09T22:27:00Z) - Closed-form $\ell_r$ norm scaling with data for overparameterized linear regression and diagonal linear networks under $\ell_p$ bias [0.0]
パラメータノルムの族をスケールするために、統一的で高確率な特徴を与える。
次に、降下によって訓練された線形ネットワークについて研究する。
論文 参考訳（メタデータ） (2025-09-25T13:59:22Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。
SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Interplay between depth and width for interpolation in neural ODEs [0.0]
それらの幅$p$と層遷移数$L$の相互作用について検討する。
高次元設定では、$p=O(N)$ニューロンが正確な制御を達成するのに十分であることを示す。
論文 参考訳（メタデータ） (2024-01-18T11:32:50Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Small Covers for Near-Zero Sets of Polynomials and Learning Latent
Variable Models [56.98280399449707]
我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。
構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
論文 参考訳（メタデータ） (2020-12-14T18:14:08Z) - A Randomized Algorithm to Reduce the Support of Discrete Measures [79.55586575988292]
離散確率測度が$N$原子と$n$実数値関数の集合で成り立つと、元の$N$原子の$n+1$の部分集合で支えられる確率測度が存在する。
我々は、負の円錐によるバリセンターの簡単な幾何学的特徴付けを与え、この新しい測度を「グリード幾何学的サンプリング」によって計算するランダム化アルゴリズムを導出する。
次に、その性質を研究し、それを合成および実世界のデータにベンチマークして、$Ngg n$ regimeにおいて非常に有益であることを示す。
論文 参考訳（メタデータ） (2020-06-02T16:38:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。