論文の概要: Enjoy Your Layer Normalization with the Computational Efficiency of RMSNorm

• arxiv url: http://arxiv.org/abs/2605.14521v1
• Date: Thu, 14 May 2026 08:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.700967
• Title: Enjoy Your Layer Normalization with the Computational Efficiency of RMSNorm
• Title（参考訳）: RMSNormの計算効率とレイヤー正規化
• Authors: Yuxin Guo, Yihao Yue, Yunhao Ni, Yizhou Ruan, Jie Luo, Wenjun Wu, Lei Huang,
• Abstract要約: 階層正規化(Layer normalization, LN)は、現代のディープラーニングの基本的な構成要素である。 LNのサンプルごとの集中とスケーリングは、無視できない推論オーバーヘッドをもたらす。 本稿では,モデル関数を変更することなく任意のDNN内のLNをRMSNormに置き換えることができるかどうかを判断する枠組みを提案する。
• 参考スコア（独自算出の注目度）: 15.439376229570678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Layer normalization (LN) is a fundamental component in modern deep learning, but its per-sample centering and scaling introduce non-negligible inference overhead. RMSNorm improves efficiency by removing the centering operation, yet this may discard benefits associated with centering. This paper propose a framework to determine whether an LN in an arbitrary DNN can be replaced by RMSNorm without changing the model function. The key idea is to fold LN's centering operation into upstream general linear layers by enforcing zero-mean outputs through the column-centered constraint (CCC) and column-based weight centering (CBWC). We extend the analysis to arbitrary DNNs, define such LNs as foldable LNs, and develop a graph-based detection algorithm. Our analysis shows that many LNs in widely used architectures are foldable, enabling exact inference-time conversion and end-to-end acceleration of 2% to 12% without changing model predictions. Experiments across multiple task families further show that, when exact equivalence is partially broken in practical training settings, our method remains competitive with vanilla LN while improving efficiency.
• Abstract（参考訳）: レイヤ正規化(Layer normalization, LN)は、現代のディープラーニングの基本的なコンポーネントであるが、サンプルごとの集中化とスケーリングは、無視できない推論オーバーヘッドをもたらす。 RMSNormは中心操作を除去することで効率を向上するが、これは中心操作に関連する利点を捨てる可能性がある。 本稿では,モデル関数を変更することなく任意のDNN内のLNをRMSNormに置き換えることができるかどうかを判断する枠組みを提案する。 鍵となるアイデアは、カラム中心制約(CCC)とカラムベースの重み付け(CBWC)を通じてゼロ平均出力を強制することにより、LNの中心演算を上流の一般線形層に折り畳むことである。 解析を任意のDNNに拡張し、そのようなLNを折り畳み可能なLNとして定義し、グラフに基づく検出アルゴリズムを開発する。 解析の結果、広く使われているアーキテクチャでは多くのLNが折り畳み可能であり、モデル予測を変更することなく、正確に推論時間変換とエンドツーエンドのアクセラレーションを2%から12%にできることがわかった。 さらに,複数のタスクファミリを対象とした実験により,実践的なトレーニング環境において,正確な等価性を部分的に損なう場合,バニラLNと競合しながら効率を向上することを示す。

関連論文リスト

• Efficient Large Language Model Inference with Neural Block Linearization [51.619870789584525]
  本稿では,トランスフォーマーモデル推論を高速化する新しいフレームワークであるNeural Block Linearization (NBL)を紹介する。 NBLは、線形最小平均正方形誤差推定器から導かれる線形近似で自己アテンション層を置き換える。 実験では、NBLは競争精度を維持しながら、顕著な計算スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-05-27T12:01:43Z)
• CoRMF: Criticality-Ordered Recurrent Mean Field Ising Solver [4.364088891019632]
  我々は、RNNに基づく効率的なIsingモデル解法、Criticality-ordered Recurrent Mean Field (CoRMF)を提案する。 基礎となるIsingグラフの近似木構造を利用することで、新しく得られた臨界度順序は、変動平均場とRNNの統一を可能にする。 CoRFMはデータ/証拠のない自己学習方式でIsing問題を解き、RNNから直接サンプリングすることで推論タスクを実行することができる。
  論文  参考訳（メタデータ） (2024-03-05T16:55:06Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。