論文の概要: Activation-Adjacent Layer Normalization: Effects on Approximation Power

• arxiv url: http://arxiv.org/abs/2610.21527v1
• Date: Thu, 15 Oct 2026 08:57:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.297215
• Title: Activation-Adjacent Layer Normalization: Effects on Approximation Power
• Title（参考訳）: 活性化-隣接層正規化:近似パワーへの影響
• Abstract要約: 本研究では, 浅い活性化正規化 (AN) とプレアクティベーション正規化 (PN) ネットワークが所定幅-$N$ 1-hidden-layer RMSNorm を近似する場合について検討する。 我々は、RMSNormの$N+1$とLNの$N+2$が近似の最悪のケース境界であることを証明する。
• 参考スコア（独自算出の注目度）: 17.18018165206028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Layer normalization (LN) and root mean square normalization (RMSNorm) depend on their inputs and remain nonlinear at inference. Inserting either next to an activation may therefore change the function a network represents. We study when shallow activation-normalized (AN) and preactivation-normalized (PN) networks can approximate a prescribed width-$N$ one-hidden-layer MLP. Viewing RMSNorm as input-dependent scaling, we use width augmentation to locally linearize normalization on compact feature sets. For AN networks, an unbounded activation range allows width $N+1$, while every continuous nonconstant activation admits width $N+r$ with error $O_f(r^{-1})$. For PN networks, affine parameters or, without them, degree-one positive homogeneity recover width $N+1$; general continuous activations admit width $N+r$ with error tending to zero. The corresponding LN constructions use centered coordinate pairs, yielding widths $N+2$ and $N+2r$, respectively. We prove that $N+1$ for RMSNorm and $N+2$ for LN are also the worst-case bound for approximations, and show that applicable universal-approximation theorems for ordinary MLPs transfer to these normalized architectures. Numerical experiments recover the predicted approximation rates for both normalizations across all five settings and illustrate the shifted-ReLU finite-width obstruction.
• Abstract（参考訳）: 層正規化(LN)と根平均二乗正規化(RMSNorm)は入力に依存し、推論時に非線形のままである。 したがって、アクティベーションのどちらかの隣に挿入すると、ネットワークが表す関数が変更される可能性がある。 本研究では, 浅い活性化正規化 (AN) とプレアクティベーション正規化 (PN) ネットワークが所定幅-$N$ 1-hidden-layer MLP を近似できる場合について検討する。 RMSNormを入力依存スケーリングと見なして、コンパクトな特徴集合上での正規化を局所的に線形化するために幅拡張を用いる。 ANネットワークでは、アンバウンドアクティベーション範囲は、幅$N+1$を許容する一方、連続非コンスタントアクティベーションは、誤差$O_f(r^{-1})$で幅$N+r$を許容する。 PNネットワークの場合、アフィンパラメータやそれらがなければ、次数1の正の均一性により幅が$N+1$になる。 対応するLN構成は中心座標対を使用し、それぞれ$N+2$と$N+2r$を得る。 RMSNorm の $N+1$ と LN の $N+2$ もまた近似の最悪のケースであり、通常の MLP に対して適用可能な普遍近似定理がこれらの正規化アーキテクチャへ移行することを示す。 数値実験により,5つの設定すべてにまたがる正規化の予測された近似速度が復元され,シフトしたReLU有限幅障害物が説明される。

関連論文リスト

• Projective Normal Fields: A Convex Optimization Method for Constructing Smooth UDFs [68.08537394769392]
  本稿では,原点雲からの距離場(UDF)の滑らかな近似を構築するためのフレームワークを提案する。 局所幾何推定をスカラーフィールド構造から分離することにより、PNFは非微分可能なUDFを直接適合させない。
  論文  参考訳（メタデータ） (2026-09-28T09:55:50Z)
• Provable Benefits of Sinusoidal Activation for Modular Addition [6.836203507099085]
  罪は任意の固定長$m$に対して2$の正確な実現を認め、偏りがあれば、すべての長さに対して2$の正確な実現を認める。 次に、正弦ネットワークに対する新しいナタラジャン次元一般化を提供し、定数幅の正弦ネットワーク上でのERMに対して、ほぼ最適なサンプル複雑性を$widetildemathcalO(p)$とする。 また、過度にパラメータ化された状態における正弦波ネットワークの幅非依存のマージンベース一般化を導出し、検証する。
  論文  参考訳（メタデータ） (2025-11-28T18:37:03Z)
• New advances in universal approximation with neural networks of minimal width [4.424170214926035]
  リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。 我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T16:17:16Z)
• Constructive Universal Approximation and Finite Sample Memorization by Narrow Deep ReLU Networks [0.0]
  我々は$N$の異なる点を持つデータセットが$mathbbRd$と$M$の出力クラスを正確に分類できることを示した。 また、任意の有界領域に対して$Lp(Omega; mathbbRm)$の普遍近似定理も証明する。 我々の結果は、深層ニューラルネットワークにおける制御性、表現性、およびトレーニングのダイナミクスを接続する統一的で解釈可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。