論文の概要: Ridgeless Interpolation with Shallow ReLU Networks in $1D$ is Nearest
Neighbor Curvature Extrapolation and Provably Generalizes on Lipschitz
Functions
- arxiv url: http://arxiv.org/abs/2109.12960v1
- Date: Mon, 27 Sep 2021 11:32:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 23:46:42.863628
- Title: Ridgeless Interpolation with Shallow ReLU Networks in $1D$ is Nearest
Neighbor Curvature Extrapolation and Provably Generalizes on Lipschitz
Functions
- Title（参考訳）: 浅層reluネットワークを用いたリッジレス補間 : 1d$ is near neighbor curvature extrapolation によるリプシッツ関数の一般化
- Authors: Boris Hanin
- Abstract要約: 一層のReLUネットワークの正確な幾何学的記述を1つの線形単位を持つ$z(x;theta)$で証明する。
我々はこれらをリッジレスReLU補間剤と呼ぶ。
この結果から,リッジレスReLU補間器は1d$リプシッツ関数の学習に最適な一般化を実現することがわかった。
- 参考スコア（独自算出の注目度）: 16.75218291152252
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove a precise geometric description of all one layer ReLU networks
$z(x;\theta)$ with a single linear unit and input/output dimensions equal to
one that interpolate a given dataset $\mathcal D=\{(x_i,f(x_i))\}$ and, among
all such interpolants, minimize the $\ell_2$-norm of the neuron weights. Such
networks can intuitively be thought of as those that minimize the mean-squared
error over $\mathcal D$ plus an infinitesimal weight decay penalty. We
therefore refer to them as ridgeless ReLU interpolants. Our description proves
that, to extrapolate values $z(x;\theta)$ for inputs $x\in (x_i,x_{i+1})$ lying
between two consecutive datapoints, a ridgeless ReLU interpolant simply
compares the signs of the discrete estimates for the curvature of $f$ at $x_i$
and $x_{i+1}$ derived from the dataset $\mathcal D$. If the curvature estimates
at $x_i$ and $x_{i+1}$ have different signs, then $z(x;\theta)$ must be linear
on $(x_i,x_{i+1})$. If in contrast the curvature estimates at $x_i$ and
$x_{i+1}$ are both positive (resp. negative), then $z(x;\theta)$ is convex
(resp. concave) on $(x_i,x_{i+1})$. Our results show that ridgeless ReLU
interpolants achieve the best possible generalization for learning $1d$
Lipschitz functions, up to universal constants.
- Abstract（参考訳）: 我々は、与えられたデータセット$\mathcal D=\{(x_i,f(x_i))\}$を補間する1つの線形単位と入力/出力次元が等しい1つの層のReLUネットワーク$z(x;\theta)$の正確な幾何学的記述を証明し、これらの補間子のうち、ニューロンの重みの$\ell_2$-normを最小化する。
そのようなネットワークは直観的に、$\mathcal d$ 上の平均二乗誤差と無限小の重みの減衰ペナルティを最小化するものであると考えることができる。
したがって、これらをリッジレスReLU補間剤と呼ぶ。
x\in (x_i,x_{i+1}) 入力に対して$z(x;\theta)$ を外挿するために、リッジレス relu 補間体は、$x_i$ と $x_{i+1}$ がデータセット $\mathcal d$ から導出される曲率の離散的推定の符号を単に比較できる。
曲率を$x_i$と$x_{i+1}$で推定すると、$z(x;\theta)$は$(x_i,x_{i+1})$で線型でなければならない。
対照的に、x_i$ と $x_{i+1}$ の曲率推定値がともに正(負)であれば、$z(x;\theta)$ は $(x_i,x_{i+1})$ の凸(凸)である。
その結果、リッジレスrelu補間体は、普遍定数まで1d$リプシッツ関数を学習するための最善の一般化を達成した。
関連論文リスト
- The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。
アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
論文 参考訳（メタデータ） (2024-10-26T06:21:42Z) - Optimal Sketching for Residual Error Estimation for Matrix and Vector Norms [50.15964512954274]
線形スケッチを用いた行列とベクトルノルムの残差誤差推定問題について検討する。
これは、前作とほぼ同じスケッチサイズと精度で、経験的にかなり有利であることを示す。
また、スパースリカバリ問題に対して$Omega(k2/pn1-2/p)$低いバウンダリを示し、これは$mathrmpoly(log n)$ factorまで厳密である。
論文 参考訳（メタデータ） (2024-08-16T02:33:07Z) - Interplay between depth and width for interpolation in neural ODEs [0.0]
それらの幅$p$と層遷移数$L$の相互作用について検討する。
高次元設定では、$p=O(N)$ニューロンが正確な制御を達成するのに十分であることを示す。
論文 参考訳（メタデータ） (2024-01-18T11:32:50Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - $\ell_p$-Regression in the Arbitrary Partition Model of Communication [59.89387020011663]
コーディネータモデルにおける分散$ell_p$-regression問題のランダム化通信複雑性について考察する。
p = 2$、すなわち最小二乗回帰の場合、$tildeTheta(sd2 + sd/epsilon)$ bitsの最初の最適境界を与える。
p in (1,2)$ に対して、$tildeO(sd2/epsilon + sd/mathrmpoly(epsilon)$ upper bound を得る。
論文 参考訳（メタデータ） (2023-07-11T08:51:53Z) - Optimal Sketching Bounds for Sparse Linear Regression [116.30196615349226]
我々は、$ell_p$ノルムや広範なヒンジ様損失関数のクラスから、様々な損失関数の下で、$k$スパース線形回帰の難読スケッチを研究する。
スパース$ell$varepsレグレッションの場合、$Theta(klog(d/k)/varepsilon2)$ rowsでスケッチの上に曖昧な分布が存在し、これは定数要素に固執することを示している。
また、$O(mu2 klog(mun d/varepsilon)/varのスケッチも示します。
論文 参考訳（メタデータ） (2023-04-05T07:24:19Z) - Learning linear dynamical systems under convex constraints [4.4351901934764975]
線形力学系を単一軌道の$T$サンプルから同定する問題を考察する。
A*$は、制約のない設定に必要な値よりも$T$小さい値を確実に見積もることができる。
論文 参考訳（メタデータ） (2023-03-27T11:49:40Z) - Active Sampling for Linear Regression Beyond the $\ell_2$ Norm [70.49273459706546]
対象ベクトルの少数のエントリのみを問合せすることを目的とした線形回帰のためのアクティブサンプリングアルゴリズムについて検討する。
我々はこの$d$への依存が対数的要因まで最適であることを示す。
また、損失関数に対して最初の全感度上界$O(dmax1,p/2log2 n)$を提供し、最大で$p$成長する。
論文 参考訳（メタデータ） (2021-11-09T00:20:01Z) - Minimax Optimal Regression over Sobolev Spaces via Laplacian
Regularization on Neighborhood Graphs [25.597646488273558]
非パラメトリック回帰に対するグラフに基づくアプローチであるラプラシア平滑化の統計的性質について検討する。
ラプラシアン滑らか化が多様体適応であることを証明する。
論文 参考訳（メタデータ） (2021-06-03T01:20:41Z) - The planted matching problem: Sharp threshold and infinite-order phase
transition [25.41713098167692]
ランダムに重み付けされた$ntimes n$ bipartite graphに隠された完全マッチング$M*$を再構築する問題について検討する。
任意の小さな定数 $epsilon>0$ に対して $sqrtd B(mathcalP,mathcalQ) ge 1+epsilon$ が成り立つ場合、任意の推定値の再構築誤差は $0$ から有界であることが示される。
論文 参考訳（メタデータ） (2021-03-17T00:59:33Z) - Robust testing of low-dimensional functions [8.927163098772589]
著者たちの最近の研究は、線型$k$-juntasがテスト可能であることを示した。
耐雑音性試験への関心が高まった後, 本論文では, 耐雑音性(あるいは頑健性)バージョンを実証する。
クエリ複雑性が$kO(mathsfpoly(log k/epsilon))$,$k$-halfspacesの交叉のクラスに対して完全耐雑音試験器を得る。
論文 参考訳（メタデータ） (2020-04-24T10:23:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。