論文の概要: LayerNorm as Implicit Gain Control in Looped Transformers
- arxiv url: http://arxiv.org/abs/2607.10681v1
- Date: Sun, 12 Jul 2026 09:57:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.503945
- Title: LayerNorm as Implicit Gain Control in Looped Transformers
- Title（参考訳）: ループ変換器における入射ゲイン制御としてのLayerNorm
- Abstract要約: 制御アブレーションを含む6つのタスクにわたるトレーニング実験では、線形搬送が深度記憶機構ではないことが明らかになった。
我々は、この主張の境界を特徴づける: チャネルごとの軸アライメントを持つタスクにおいて、勾配降下はキャリーをリクルートする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In pre-LayerNorm looped transformers, LayerNorm inside the recurrent block acts as an implicit gain controller: by coupling the block's local Lipschitz constant inversely to the activation scale, it renders the recurrence Jacobian non-normal -- asymptotically contractive at every verified fixed point even where its operator norm exceeds 1 -- so the true stability budget is the spectral margin, not an operator-norm bound. That margin depletes as the carry $ρ\to 1$, and a minority of initializations never converge to a fixed point at all, so the diagonal carry constraint $ρ(\bar{A}) < 1$ is necessary but not sufficient for convergence of the full recurrence. Training experiments across six tasks, including a controlled ablation, reveal that the linear carry is not the depth-memory mechanism: gradient descent routes memory through the block's more expressive nonlinear recurrence and leaves the stability-constrained carry at rest -- the carry's role is stabilization, not memory. We characterize the boundary of this claim: on tasks with axis-aligned per-channel structure, gradient descent does recruit the carry. All results are derived analytically and verified in a from-scratch, CPU-scale implementation; verification at larger scale is needed.
- Abstract（参考訳）: 繰り返しブロック内のLayerNormループ変換器は暗黙の利得制御器として機能する: ブロックの局所リプシッツ定数をアクティベーションスケールに逆向きに結合することにより、その演算子ノルムが1を超えるような固定点毎に漸近的に収縮するジャコビアン非正規(英語版)(Jacobian non-normal)を描画する。
このマージンは空母 $ρ\to 1$ として枯渇し、イニシャル化の少数は不動点に収束しないので、対角線キャリア制約 $ρ(\bar{A}) < 1$ は必要だが、完全再発の収束には十分ではない。
制御されたアブレーションを含む6つのタスクにわたるトレーニング実験では、線形搬送は深度記憶機構ではないことが明らかになった。
我々は、この主張の境界を特徴づける: チャネルごとの軸アライメントを持つタスクにおいて、勾配降下はキャリーをリクルートする。
すべての結果は解析的に導出され、CPUスケールの実装で検証される。
関連論文リスト
- Guidance Breaks the Fitted Operator: A Terminal-Fitted Repair for Classifier-Free Guidance [0.6768558752130311]
インテグレータ分析レンズを用いて拡散フリーガイダンス(CFG)を解析する。
このガイダンスは, 判別部分空間を, 異常な1+wに正確に再シュミレーションすることを示す。
DDIMはもはや装着されておらず、粗いメッシュ上では、sigma_minがゼロになるにつれて、ガイドされた残基が分岐する。
論文 参考訳（メタデータ） (2026-07-08T17:21:51Z) - Non-normal spectral signatures of instability in neural network training dynamics [0.5307735857768683]
実用用途の線形化更新演算子は一般には非正規であることを示す。
これらの作用素に非正規安定理論を適用することにより、(V)が過渡増幅の早期警戒指標となる保守的な擬スペクトル前駆体境界を導出する。
論文 参考訳（メタデータ） (2026-05-22T10:36:48Z) - Coverage Analysis of Rydberg Atom Quantum Receiver Arrays: A Stochastic Geometry Approach [55.47164192369501]
ライドバーグ原子量子受信機(RAQR)は、量子制限感度とブロードバンドチューナビリティを提供する。
密集した展開において、集合的干渉は原子トランスデューサを小さな信号状態から外すことができる。
本稿では、RAQRフロントエンドを幾何学的カバレッジ分析に埋め込むことで、この問題に対処する。
論文 参考訳（メタデータ） (2026-05-22T04:05:13Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - A Measure-Theoretic Analysis of Reasoning: Structural Generalization and Approximation Limits [17.425526755350948]
離散軌跡を計量空間に投影し、領域シフトを定量化する。
カントロビッチ双対性を呼び起こすと、アーキテクチャ上のリプシッツ連続性と汎関数近似極限によるOOD一般化が成立する。
論文 参考訳（メタデータ） (2026-05-19T15:00:51Z) - scHelix: Asymmetric Dual-Stream Integration via Explicit Gene-Level Disentanglement [84.88065404629079]
scHelixは、機能がどのように処理されるかを根本的に変更するデータセット適応フレームワークである。
scHelixは、停止段階のグラフキャッシュを備えたデュアルストリームスパース拡散エンコーダを使用する。
scHelixは最先端のメソッドより優れています。
論文 参考訳（メタデータ） (2026-05-18T15:55:13Z) - A Nonasymptotic Theory of Gain-Dependent Error Dynamics in Behavior Cloning [4.822598110892847]
位置制御ロボットの動作クローニングポリシーは、基礎となるPDコントローラの閉ループ応答を継承する。
我々は、ゲイン依存閉ループ力学により、ガウス以下の独立な動作誤差が伝播することを示す。
論文 参考訳（メタデータ） (2026-04-15T23:53:09Z) - Beyond Additivity: Sparse Isotonic Shapley Regression toward Nonlinear Explainability [0.0]
本稿では,Sparse Isotonic Shapley Regression (SISR)について紹介する。
SISRは単調変換を学び、加法的に復元する。-閉形式仕様の必要性を回避し、Shapleyベクトル上でL0間隔制約を強制する。
SISRはペイオフスキーム間の属性を安定化し、無関係な特徴を正しくフィルタリングする。
論文 参考訳（メタデータ） (2025-12-02T08:34:43Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Pruning Redundant Mappings in Transformer Models via Spectral-Normalized
Identity Prior [54.629850694790036]
スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。
5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
論文 参考訳（メタデータ） (2020-10-05T05:40:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。