論文の概要: Optimal Neural Network Approximation via Empirical Least Squares with Deterministic Samples

• arxiv url: http://arxiv.org/abs/2608.06687v1
• Date: Fri, 07 Aug 2026 01:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.322469
• Title: Optimal Neural Network Approximation via Empirical Least Squares with Deterministic Samples
• Title（参考訳）: 決定論的サンプルを用いた経験的最小二乗による最適ニューラルネットワーク近似
• Abstract要約: 線形化されたReLU$k$ニューラルネットワークを用いた楕円型スペクトル方程式の離散最小二乗近似の理論を考案する。 我々は、対数係数と任意に小さな滑らかさ損失まで、高い確率の残差推定値を確立する。 重要な解析的要素は、線形化されたReLU$k$ネットワーク空間に対するベルンシュタインの不等式である。
• 参考スコア（独自算出の注目度）: 7.864201093845001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a rigorous theory of discrete residual least-squares approximation for elliptic spectral equations $\mathfrak L_βu=f$ using linearized ReLU$^k$ neural networks on the sphere, where $\mathfrak L_β$ is a positive elliptic spectral multiplier of order $β$. Given a parameter set $Θ_n=\{θ_{j}^*\}_{j=1}^n\subset\mathbb S^d$, we approximate $u$ in the linearized network space $L_n^k(Θ_n)$ by the discrete residual on the collocation points $\{η_i^*\}_{i=1}^m$ \begin{equation*} u_{n,m}\in\arg\min_{v_n\in L_n^k(Θ_n)}\frac1m\sum_{i=1}^m\left(f(η_i^*)-\mathfrak L_βv_n(η_i^*)\right)^2. \end{equation*} With $k>\frac{d-1}{2}+β$, for antipodally quasi-uniform network parameter sets and any quasi-uniform collocation points with $m\gtrsim n$, we prove that \begin{equation*} \|u-u_{n,m}\|_{\mathcal H^β(\mathbb S^d)}\eqsim\|f-\mathfrak L_βu_{n,m}\|_{\mathcal L^2(\mathbb S^d)}\lesssim n^{-\frac{r}{d}} \begin{cases} \|f\|_{\mathcal W^{r,p}(\mathbb S^d)},&\frac{d}{p}<r\leq \frac{d}{2},~p>2,\\ \|f\|_{\mathcal H^r(\mathbb S^d)},&r>\frac{d}{2}. \end{cases} \end{equation*} We also establish a high-probability residual estimate, up to a logarithmic factor and an arbitrarily small smoothness loss, for i.i.d.\ uniformly distributed collocation points. The key analytical ingredient is a Bernstein inequality for linearized ReLU$^k$ network spaces. If $\underline h$ denotes the antipodal separation distance of the network parameters, then \begin{equation*} \|v_n\|_{\mathcal H^r(\mathbb S^d)}\lesssim\underline h^{-(r-s)}\|v_n\|_{\mathcal H^s(\mathbb S^d)},\qquad 0\leq s<r<k+\tfrac12. \end{equation*}
• Abstract（参考訳）: 楕円型スペクトル方程式に対する離散最小二乗近似の厳密な理論を、線形化されたReLU$^k$ニューラルネットワークを用いて展開し、ここでは、$\mathfrak L_β$は階数$β$の正楕円型スペクトル乗算器である。 線型化されたネットワーク空間において、パラメータ集合 $\_n=\{θ_{j}^*\}_{j=1}^n\subset\mathbb S^d$ が与えられたとき、$u$ を共役点 $\{η_i^*\}_{i=1}^m$ \begin{equation*} u_{n,m}\in\arg\min_{v_n\in L_n^k(\_n)}\frac1m\sum_{i=1}^m\left(f(η_i^*)-\mathfrak Lβv_n(η_i^*)-\mathfrak Lβ_n(η_i^*)\right) 上の離散残差によって近似する。 \end{equation*} $k>\frac{d-1}{2}+β$, for antipodally quasi-uniform network parameter set and any quasi-uniform collocation points with $m\gtrsim n$, we prove that \begin{equation*} \|u-u_{n,m}\|_{\mathcal H^β(\mathbb S^d)}\eqsim\|f-\mathfrak L_βu_{n,m}\|_{\mathcal L^2(\mathbb S^d)}\lesssim n^{-\frac{r}{d}} \begin{cases} \|f\|_{\mathcal W^{r,p}(\mathbb S^d)}&\frac{r}{d} \|f\|_{\mathcal W^{r,p}}\mathbb S^d} 証明する。 \end{cases} \end{equation*} 対数係数までの高確率残差推定と任意に小さな滑らかさ損失、すなわち一様分布のコロケーション点も確立する。 重要な解析的要素は、線形化されたReLU$^k$ネットワーク空間に対するベルンシュタインの不等式である。 もし$\underline h$ がネットワークパラメータの反ポッド分離距離を表すなら、 \begin{equation*} \|v_n\|_{\mathcal H^r(\mathbb S^d)}\lesssim\underline h^{-(r-s)}\|v_n\|_{\mathcal H^s(\mathbb S^d)},\qquad 0\leq s<r<k+\tfrac12 である。 \end{equation*}

関連論文リスト

• Isospectral majorization and isoperimetric inequalities for coherent states on the Bloch sphere [0.0]
  我々はリーブ・ソロヴェイ不等式の等スペクトルバージョンを証明した。 球面キャップは、Toeplitz作用素の固有値の任意の部分和を1_$で最大化する。
  論文  参考訳（メタデータ） (2026-08-12T16:46:26Z)
• Complexity Bounds for Hamiltonian Simulation in Unitary Representations [0.0]
  We consider the Hamiltonian evolution [ U_X(t) coloneqq (exp(tX)) = et,d(X), qquad tinmathbbR。 最初に、ハミルトニアン (d(X)) がルート空間$mathfrakg_$ の方向に沿ってどのように分布するかを記述する。 我々の主な結果は、各固定(Xinmathfrakg)に対して、そのような定数が存在することを示している。
  論文  参考訳（メタデータ） (2026-03-07T14:28:46Z)
• Algorithmic contiguity from low-degree conjecture and applications in correlated random graphs [0.0]
  2つの問題に対して計算硬度を示す。 我々の証明の主な要素の1つは、2つの確率測度の間の近位関係を導出することである。 このフレームワークは、異なるタスク間のリダクションを実行するための便利なツールを提供する。
  論文  参考訳（メタデータ） (2025-02-14T00:24:51Z)
• MLPs at the EOC: Concentration of the NTK [7.826806223782053]
  ニューラルタンジェント(NTK)のK_theta濃度について検討した。 我々は、勾配独立性の近似バージョンが有限幅で成り立つことを証明した。 この限界を正確に近似するためには, 十分な濃度に対して, bbN+1$の約$mに対して, $m_k = k2 m$として, 隠蔽層幅を2次的に成長させる必要がある。
  論文  参考訳（メタデータ） (2025-01-24T18:58:50Z)
• The Space Complexity of Approximating Logistic Loss [11.338399194998933]
  a general $tildeOmega(dcdot mu_mathbfy(mathbfX))$ space lower bound if $epsilon$ is constant。 また、$mu_mathbfy(mathbfX)$は計算が難しいという事前予想も否定する。
  論文  参考訳（メタデータ） (2024-12-03T18:11:37Z)
• The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
  この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。 アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
  論文  参考訳（メタデータ） (2024-10-26T06:21:42Z)
• Efficient Continual Finite-Sum Minimization [52.5238287567572]
  連続有限サム最小化(continuous finite-sum minimization)と呼ばれる有限サム最小化の鍵となるツイストを提案する。 我々のアプローチは$mathcalO(n/epsilon)$ FOs that $mathrmStochasticGradientDescent$で大幅に改善されます。 また、$mathcalOleft(n/epsilonalpharight)$ complexity gradient for $alpha 1/4$という自然な一階法は存在しないことを証明し、この方法の第一階法がほぼ密であることを示す。
  論文  参考訳（メタデータ） (2024-06-07T08:26:31Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Spectral Statistics of the Sample Covariance Matrix for High Dimensional Linear Gaussians [12.524855369455421]
  高次元安定状態遷移行列の予言のための通常最小二乗法(OLS)の性能 OLS推定器は、遠相遷移を発生させ、遠相遷移となり、推定誤差を悪化させるだけである。
  論文  参考訳（メタデータ） (2023-12-10T06:55:37Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• On Outer Bi-Lipschitz Extensions of Linear Johnson-Lindenstrauss Embeddings of Low-Dimensional Submanifolds of $\mathbb{R}^N$ [0.24366811507669117]
  $mathcalM$ を $mathbbRN$ のコンパクト $d$-次元部分多様体とし、リーチ $tau$ とボリューム $V_mathcal M$ とする。 非線形関数 $f: mathbbRN rightarrow mathbbRmm が存在し、$m leq C left(d / epsilon2right) log left(fracsqrt[d]V_math が存在することを証明します。
  論文  参考訳（メタデータ） (2022-06-07T15:10:46Z)
• Low-degree learning and the metric entropy of polynomials [44.99833362998488]
  少なくとも$Omega(sqrtvarepsilon)2dlog n leq log mathsfM(mathscrF_n,d,|cdot|_L,varepsilon)は2辺の推定値$c(1-varepsilon)2dlogを満たす。
  論文  参考訳（メタデータ） (2022-03-17T23:52:08Z)
• On the Self-Penalization Phenomenon in Feature Selection [69.16452769334367]
  カーネル群に基づく暗黙の空間性誘導機構について述べる。 アプリケーションとしては、この疎結合誘導機構を使用して、特徴選択に一貫性のあるアルゴリズムを構築します。
  論文  参考訳（メタデータ） (2021-10-12T09:36:41Z)
• Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
  関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
  論文  参考訳（メタデータ） (2021-09-06T14:21:43Z)
• Optimal Mean Estimation without a Variance [103.26777953032537]
  本研究では,データ生成分布の分散が存在しない環境での重み付き平均推定問題について検討する。 最小の信頼区間を$n,d,delta$の関数として得る推定器を設計する。
  論文  参考訳（メタデータ） (2020-11-24T22:39:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。