論文の概要: Sharp Generalization for Nonparametric Regression in Interpolation Space by Shallow Over-Parameterized Neural Networks with Channel Attention

• arxiv url: http://arxiv.org/abs/2611.01642v1
• Date: Sun, 01 Nov 2026 06:46:19 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:16:07.227624
• Title: Sharp Generalization for Nonparametric Regression in Interpolation Space by Shallow Over-Parameterized Neural Networks with Channel Attention
• Title（参考訳）: チャネルを留意した過パラメータニューラルネットワークによる補間空間における非パラメトリック回帰のシャープ一般化
• Abstract要約: 早期停止トレーニングが回帰リスクを$cO(eps_n2)$, $eps_n$は注目カーネル$Kattn$の臨界人口率であることを示す。 本分析は,アテンションネットワークの最適化と一般化に関する2つの新しい技術結果に基づいている。
• 参考スコア（独自算出の注目度）: 15.975065054204753
• License:
• Abstract: We study nonparametric regression using an over-parameterized two-layer ReLU neural network with fixed covariance-based channel attention, trained by gradient descent with both layers updated simultaneously. The spherical covariates follow an arbitrary fixed non-atomic distribution, and the target function lies in an interpolation space with spectral bias widely studied in the statistical learning literature. We prove that early-stopped training achieves regression risk $\cO(\eps_n^2)$, where $\eps_n$ is the critical population rate of the attention kernel $\Kattn$. Its positive eigenvalues are $λ_j^{s'}$, where $λ_j$ are those of the ReLU feature covariance kernel $K$ and $s'=2s+3$ for $s\ge1$. Under polynomial eigenvalue decay $λ_j\asymp j^{-2α}$ with $α>1/2$, the regression risk bound $\cO(\eps_n^2)$ specializes to the minimax optimal rate $\cO(n^{-2αs'/(2αs'+1)})$. Our analysis is based on two new technical results on the optimization and generalization of the attention network. First, the neural network function after every gradient descent iteration admits a decomposition into a function with bounded Reproducing Kernel Hilbert Space (RKHS) norm and a uniformly small residual. Second, local Rademacher complexity converts this decomposition into a regression risk bound. Kernel gradient descent on the same ball attains the same rate, while our theorem gives explicit sufficient width and auxiliary-sample conditions for simultaneous network training. Our analysis is further extended to covariates supported on $\RR^d$ through a novel normalization method. Under a sub-Gaussian covariate distribution, the attention network achieves a nearly optimal regression risk $\cO((\log n)n^{-s'(d+3)/(s'(d+3)+d)})$ without a density assumption.
• Abstract（参考訳）: 重み付けされた2層ReLUニューラルネットワークを用いた非パラメトリック回帰について検討し,両層を同時に更新した勾配降下によるトレーニングを行った。 球面共変体は任意の固定された非原子分布に従っており、ターゲット関数は統計学の文献で広く研究されているスペクトルバイアスを持つ補間空間にある。 早期停止トレーニングが回帰リスク$\cO(\eps_n^2)$を達成することを証明している。 その正の固有値は $λ_j^{s'}$ であり、$λ_j$ は ReLU 特徴共分散核 $K$ と $s'=2s+3$ for $s\ge1$ の値である。 多項式固有値減衰$λ_j\asymp j^{-2α}$と$α>1/2$とすると、回帰リスク境界$\cO(\eps_n^2)$は極小最大速度$\cO(n^{-2αs'/(2αs'+1)}$に特殊化される。 本分析は,アテンションネットワークの最適化と一般化に関する2つの新しい技術結果に基づいている。 まず、勾配降下を繰り返した後のニューラルネットワーク関数は、有界再生ケルネルヒルベルト空間(RKHS)ノルムと一様に小さい残差を持つ関数に分解される。 第二に、局所ラデマッハ複雑性は、この分解を回帰リスク境界に変換する。 同じボール上でのカーネル勾配降下は、同じ速度を達成する一方、我々の定理は、同時ネットワークトレーニングのための十分な幅と補助サンプル条件を明示する。 我々の解析は、新しい正規化法により$\RR^d$でサポートされた共変量にさらに拡張される。 準ガウス共変量分布の下では、アテンションネットワークは密度仮定なしでほぼ最適な回帰リスク $\cO((\log n)n^{-s'(d+3)/(s'(d+3)+d)} を達成する。

関連論文リスト

• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early Stopping [15.975065054204753]
  アルゴリズムによる保証を訓練した過パラメトリック化された2層ニューラルネットワークを用いて,非回帰について検討する。 我々は,早期停止機能を備えた新しいプレコンディショニンググレーディエント・ディフレッシュ(PGD)アルゴリズムを用いてニューラルネットワークをトレーニングすることにより,高い回帰率が得られることを示した。
  論文  参考訳（メタデータ） (2024-07-16T03:38:34Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Generalization and Stability of Interpolating Neural Networks with Minimal Width [37.908159361149835]
  補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。 トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。 m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
  論文  参考訳（メタデータ） (2023-02-18T05:06:15Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。