論文の概要: High Probability Derivative Bounds for Random tanh Neural Networks on a Hypercube

• arxiv url: http://arxiv.org/abs/2608.26526v1
• Date: Thu, 27 Aug 2026 02:01:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.213647
• Title: High Probability Derivative Bounds for Random tanh Neural Networks on a Hypercube
• Title（参考訳）: ハイパーキューブ上のランダムタンニューラルネットの高確率導出境界
• Abstract要約: 重み行列のユークリッド作用素ノルムに基づく直接決定論的解析は、一般に深さとともに指数関数的に成長する微分境界をもたらす。 この成長は、高階微分において線型である項を分離することにより、十分に広いガウスネットワークに対して著しく改善できることを示す。 その結果、ユークリッドリプシッツ定数と重み付きソボレフノルムに対する高確率境界が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish high-probability bounds for mixed input derivatives of wide random neural networks whose activation derivatives satisfy a factorial growth bound. Our main result specializes these estimates to $\tanh$ networks with Xavier initialization. A direct deterministic analysis based on Euclidean operator norms of the weight matrices yields derivative bounds that generally grow exponentially with the depth. We show that this growth can be substantially improved for sufficiently wide Gaussian networks by isolating the term that is linear in the highest-order derivative and controlling the corresponding tangent directions by measurable finite nets. For scalar-output $\tanh$ networks with Gaussian weights and Xavier initialization, we prove that there exist constants $C,C_0,C_1>0$ such that, whenever the common hidden width satisfies $n \geq C\left(L^3n_0^2(1+\log n_0)+L^2\left(1+\log(L/η)\right)\right)$, then, with probability at least $1-η$, the estimate $\left|D^u\mathcal{R}_{Φ^{(L)}}(x)\right| \leq C_0 |u|! (C_1L)^{|u|-1}\prod_{j\in u}β_j(η,n_0)$ holds simultaneously for every non-empty $u\subseteq[n_0]$ and every $x\in[0,1]^{n_0}$. Thus, the first-order derivative bound is independent of the depth, while a square-free mixed derivative of order $|u|$ grows at most polynomially as $L^{|u|-1}$, apart from the coordinate factors. As consequences, we obtain high-probability bounds for the Euclidean Lipschitz constant and for weighted Sobolev norms of the network realization. The latter connect the derivative estimates to quasi-Monte Carlo integration and indicate how such regularity can enter the analysis of QMC-based training.
• Abstract（参考訳）: 活性化微分が因子的成長境界を満たす広帯域ランダムニューラルネットワークの混合入力導関数に対して高い確率境界を確立する。 我々の主な成果は、Xavierの初期化を伴う$\tanh$ネットワークにこれらの推定を特化したものである。 重み行列のユークリッド作用素ノルムに基づく直接決定論的解析は、一般に深さとともに指数関数的に成長する微分境界をもたらす。 この成長は、高階微分において線形である項を分離し、測定可能な有限ネットで対応する接方向を制御することにより、十分に広いガウスネットワークに対して著しく改善できることを示す。 ガウス重みとザビエル初期化を持つスカラーアウトプット$\tanh$ネットワークに対して、共通隠れた幅が$n \geq C\left(L^3n_0^2(1+\log n_0)+L^2\left(1+\log(L/η)\right)\right)$ を満たすような定数$C,C_0,C_1>0$が存在することを証明し、少なくとも 1-η$ の確率で、推定$\left|D^u\mathcal{R}_{n^{(L)}}(x)\right| \leq C_0 |u|! (C_1L)^{|u|-1}\prod_{j\in u}β_j(η,n_0)$はすべての空でない$u\subseteq[n_0]$とすべての$x\in[0,1]^{n_0}$に対して同時に保持する。 したがって、一階微分境界は深さとは独立であるが、位数$|u|$の平方自由混合微分は、座標因子とは別に、ほとんど多項式的に$L^{|u|-1}$として成長する。 その結果、ユークリッドリプシッツ定数と重み付きソボレフノルムに対する高確率境界が得られる。 後者は導関数の推定値を準モンテカルロ積分に結び付け、そのような正則性がQMCに基づくトレーニングの分析にどのように入り込むかを示す。

関連論文リスト

• Optimal Dimension-Free Sampling for Regularized Classification [56.72526267755301]
  我々は、リプシッツ連続分類損失関数の幅広いクラスに対して、$(1pmvarepsilon)$-relativeエラーを達成する最適サンプリング境界を証明した。 これにはロジスティックやシグモイドの損失、ヒンジの損失、ReLUの損失といった重要な機能が含まれており、顕著で一般的な例である。
  論文  参考訳（メタデータ） (2026-05-22T15:05:33Z)
• Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition [50.36362492608702]
  乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。 我々は、閉形式の最適点密度 [ star(u) propto exp!left(-fracu26right)bigl( (1-2)+2u22bigr), qquad u=fracx_X を求め、相関駆動相転移を証明した。
  論文  参考訳（メタデータ） (2026-03-20T01:53:44Z)
• The Spectral Dimension of NTKs is Constant: A Theory of Implicit Regularization, Finite-Width Stability, and Scalable Estimation [0.0]
  定数極限法則 $lim_ntoinfty mathbbE[r_texteff(K_n)] = mathbbE[k(x, x)]2 を証明する。 有限幅 NTK が作用素ノルムにおいて $O_p(m-1/2)$ でずれるなら、$r_texteff$ は $O_p(m-1/2)$ で変化する。 ランダムを用いたスケーラブルな推定器を設計する
  論文  参考訳（メタデータ） (2025-11-30T12:14:21Z)
• Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation [2.815765641180636]
  境界重みを持つ定数深度$mathrmReLUk-1$ネットワークは、ソボレフ空間内の任意の関数を近似することができることを示す。 また、必要なパラメータ数が対数係数に一致することを示すことで、我々の構成がほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2025-09-11T11:28:20Z)
• Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights [15.424946932398713]
  有限次モーメントを持つ無作為重みを持つディープニューラルネットワークの有限次元分布(FDD)について検討する。 我々は、FDDとガウス極限の間のワッサーシュタイン-1$ノルムにガウス近似境界を確立する。 すべての幅が共通のスケールパラメータ$n$に比例し、隠された層が$L-1$である特別な場合、任意の$epsilon > 0$に対して$n-(1/6)L-1 + epsilon$の収束率を得る。
  論文  参考訳（メタデータ） (2025-07-16T23:41:09Z)
• Near-optimal estimates for the $\ell^p$-Lipschitz constants of deep random ReLU neural networks [3.684988521329369]
  ネットワークの幅が対数的であり,その深さが線形である要因によって,最大で異なる広帯域ネットワークに対して,高い確率上・下界を導出する。 注目すべきは、$ellp$-Lipschitz定数の振舞いは、 [1,2) $ と $p in [2,infty] $ の間に大きく異なることである。
  論文  参考訳（メタデータ） (2025-06-24T15:02:16Z)
• Learning Networks from Wide-Sense Stationary Stochastic Processes [7.59499154221528]
  ここでの重要な推論問題は、ノード出力(ポテンシャル)からエッジ接続を学習することである。 我々はWhittleの最大可能性推定器(MLE)を用いて時間相関サンプルから$Last$のサポートを学習する。 MLE問題は厳密な凸であり、ユニークな解であることを示す。
  論文  参考訳（メタデータ） (2024-12-04T23:14:00Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Near-optimal fitting of ellipsoids to random points [68.12685213894112]
  楕円体をランダムな点に合わせるという基本的な問題は、低ランク行列分解、独立成分分析、主成分分析に関係している。 我々はこの予想を、ある$n = Omega(, d2/mathrmpolylog(d))$ に対する適合楕円体を構成することで対数的因子まで解決する。 我々の証明は、ある非標準確率行列の便利な分解を用いて、サンダーソン等最小二乗構成の実現可能性を示す。
  論文  参考訳（メタデータ） (2022-08-19T18:00:34Z)
• Low-degree learning and the metric entropy of polynomials [44.99833362998488]
  少なくとも$Omega(sqrtvarepsilon)2dlog n leq log mathsfM(mathscrF_n,d,|cdot|_L,varepsilon)は2辺の推定値$c(1-varepsilon)2dlogを満たす。
  論文  参考訳（メタデータ） (2022-03-17T23:52:08Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。