論文の概要: Phasor Attention: Mean Root Square Normalization for Phase Manifold Preservation

• arxiv url: http://arxiv.org/abs/2607.17822v1
• Date: Mon, 20 Jul 2026 11:10:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.600584
• Title: Phasor Attention: Mean Root Square Normalization for Phase Manifold Preservation
• Title（参考訳）: Phasor Attention: フェーズ・マニフォールド保存における平均根角正規化
• Abstract要約: 平均根角正規化(MRSNorm)について紹介する。 MRSNormは数学的に従来のスケーリングパラダイムを反転させる。 我々は、この制約がピタゴラスのアイデンティティによって支配される組込み三角勾配クリッパーをもたらすことを解析的に実証した。
• 参考スコア（独自算出の注目度）: 3.0459410574367314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Root Mean Square Normalization has become the de facto standard for accelerating modern sequence models, its reliance on the quadratic accumulation of independent scalars ($\sum x^2$) inherently triggers outlier-induced numerical instability, gradient starvation, and anisotropic phase distortion. We introduce Mean Root Square Normalization (MRSNorm). By structurally pairing channels into 2D phasors, MRSNorm mathematically inverts the traditional scaling paradigm: it computes the localized $L_2$ magnitudes (Root Square) before aggregating them via a global $L_1$ average (Mean). This operational inversion strictly constrains activations to a phasor manifold, preserving conformal invariance. By sharing a single affine weight across phasor components, MRSNorm halves the total number of learnable parameters, proving that unconstrained spatial scaling in standard norms is a harmful redundancy. We analytically demonstrate that this geometric constraint yields a built-in, trigonometric gradient clipper governed by the Pythagorean identity, unconditionally equalizing the local gradient norm to ensure Gradient Homogeneity. Empirical evaluations on a ResNet with CIFAR-100 show that despite halved parameters, MRSNorm provides critical structural stability under rigorous stress tests. Under extreme hyperparameter settings where standard normalizations suffer from gradient divergence, MRSNorm successfully prevents numerical explosion and secures stable optimization trajectories. Our findings propose a fundamental paradigm shift toward phasor-based deep representation learning. The implementation of MRSNorm is available at Appendix C.
• Abstract（参考訳）: ルート平均角正規化は、現代のシーケンスモデルを加速するデファクトスタンダードとなっているが、独立スカラーの二次的蓄積(英語版)(\sum x^2$)に依存しているため、本質的には外圧誘起数値不安定性、勾配飢餓、異方性位相歪みを引き起こす。 本稿では,Mean Root Square Normalization (MRSNorm)を紹介する。 チャネルを2Dファサーに構造的に組み合わせることで、MSSNormは従来のスケーリングパラダイムを数学的に逆転させ、グローバルな$L_1$平均(Mean)で集約する前にローカライズされた$L_2$グレード(ルートスクエア)を計算する。 この操作逆転はファザー多様体への活性化を厳格に制限し、共形不変性を保存する。 ファサー成分間で単一のアフィン重みを共有することで、MSSNormは学習可能なパラメータの総数を半減し、標準標準における制約のない空間スケーリングが有害な冗長性であることを証明した。 我々は、この幾何学的制約がピタゴラスの恒等式によって支配される組込み三角勾配クリッパーとなり、非条件で局所勾配ノルムを等しくし、グラディエント均一性を保証することを解析的に証明した。 CIFAR-100を用いたResNetの実証評価によれば、RSNormは半分のパラメータにもかかわらず、厳密な応力試験の下で重要な構造安定性を提供する。 標準正規化が勾配のばらつきに悩まされる極端なハイパーパラメータ設定の下では、MSSNormは数値的な爆発を防ぎ、安定した最適化軌道を確保する。 本研究は, ファサーベース深層表現学習への根本的なパラダイムシフトを提案する。 MRSNormの実装はAppendix Cで利用可能である。

関連論文リスト

• Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization [7.792020418343022]
  多様性に基づく正規化とシャープネス認識最小化(SAM)は、ディープラーニングの一般化を改善するための2つの重要なアプローチである。 この2つの手法はパラメータ空間の摂動の下で局所的に一致していることを示す。 また、分岐に基づく正規化は入力の変換によって定義されることを示す。
  論文  参考訳（メタデータ） (2026-09-08T19:01:05Z)
• Statistically Meaningful Geometry (SMG) Beyond the Euclidean Paradigm, with Application to Generative AI [0.7766379063545538]
  本稿では,パラメトリックモデルから無限次元最小化非漸近統計へ持ち上げる情報幾何学的パラダイムである統計的意味幾何(SMG)フレームワークを紹介する。 接続フィルタによる事前学習の下では、分布外分布予測分散は、同定可能な基底多様体 $mathcalB$ の有限径によって厳密に上界となり、生成幻覚の厳密な幾何学的包含が確立される。
  論文  参考訳（メタデータ） (2026-07-03T13:46:31Z)
• Variance Reduction for Stochastic Gradient Generalized Non-reversible Langevin Monte Carlo Algorithms [7.336637417508747]
  非可逆ランゲヴィン力学に対する勾配丸山推定器の序列変動について検討する。 我々は、逆二乗階段の水平方向上の経験的平均が、消滅段数状態における中心極限定理を満たすことを証明した。
  論文  参考訳（メタデータ） (2026-06-27T08:25:48Z)
• On Higher-Order Geometric Refinements of Classical Covariance Asymptotics: An Approach via Intrinsic and Extrinsic Information Geometry [0.0]
  混合、曲線指数族、潜在変数モデル、多様体-ルートパラメータ空間を含む曲線モデルでは、有限サンプルの振る舞いは予測から体系的に逸脱することができる。 我々は、正規パラメトリック族をフィッシャー制約ラオ計量の((,g))として見ることにより、座標不変な曲率対応の洗練を開発する。 本稿では,学習速度と後進平均二乗誤差における実対数正準しきい値の役割,および正規理論を特殊ケースとして回復する解空間上の曲率に基づく共分散展開について述べる。
  論文  参考訳（メタデータ） (2026-04-14T13:40:13Z)
• Muon Dynamics as a Spectral Wasserstein Flow [21.689846521201588]
  正半定値行列に関するワッサーシュタインノルムの族を導入する。 静的ベナモ・ブレニエ式と動的ベナモ・ブレニエ式との同値性を証明する。 流れモデルに付随する厳密な勾配を同定する。
  論文  参考訳（メタデータ） (2026-04-06T17:41:12Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
  本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。 二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
  論文  参考訳（メタデータ） (2025-09-23T09:14:39Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Square Root Marginalization for Sliding-Window Bundle Adjustment [53.34552451834707]
  実時間オドメトリーに適合する新しい正方形根のすべり窓束の調整法を提案する。 提案した平方根辺化は、ヘシアン上でのシュール補数(SC)の従来の使用と代数的に等価であることを示す。 実世界のデータセットにおける視覚的および視覚的慣性オドメトリーの評価は,提案した推定器がベースラインよりも36%高速であることを示す。
  論文  参考訳（メタデータ） (2021-09-05T23:22:38Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。