論文の概要: How Long Does Infinite Width Last? Signal Propagation in Long-Range Linear Recurrences
- arxiv url: http://arxiv.org/abs/2605.05113v1
- Date: Wed, 06 May 2026 16:44:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.942346
- Title: How Long Does Infinite Width Last? Signal Propagation in Long-Range Linear Recurrences
- Title（参考訳）: 無限幅はいつまで続くか? 長距離リニアリカレンスにおける信号伝搬
- Abstract要約: 有限幅線形リカレントモデルにおける信号伝搬について検討する。
有限幅効果は, フィードフォワードモデルよりも再帰モデルにおいて, より高速に蓄積することがわかった。
- 参考スコア（独自算出の注目度）: 2.335152769484957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study signal propagation in linear recurrent models at finite width. While existing signal propagation theory relies predominantly on the infinite-width limit, it remains unclear for how long that approximation remains accurate when recurrent depth $t$ grows jointly with width $n$. This question is especially relevant for modern recurrent sequence models, whose natural operating regime involves long input sequences, i.e., large $t$. We derive exact finite-width formulas for the hidden state signal energies in linear recurrences under complex Gaussian initialization. Using these formulas, we identify the joint depth-width scaling regimes that govern signal propagation: (i) a subcritical regime $t=o(\sqrt n)$, in which the infinite-width approximation remains valid; (ii) a critical regime $t\sim c\sqrt n$, in which non-negligible deviations from infinite-width predictions appear and a nontrivial joint scaling limit emerges; and (iii) a supercritical regime $t\gg \sqrt n$, in which finite-width effects dominate. Thus, our results pinpoint the precise recurrent depth scale at which infinite-width theory breaks down in long-range linear recurrences. In turn, this shows when standard initialization schemes, such as Glorot, become unstable. More broadly, our results demonstrate that finite-width effects accumulate more rapidly with depth in recurrent models than in feedforward ones, leading to qualitatively different signal propagation behavior.
- Abstract（参考訳）: 有限幅線形リカレントモデルにおける信号伝搬について検討する。
既存の信号伝搬理論は、主に無限幅の極限に依存するが、再帰的な深さ$t$が幅$n$と共に大きくなるときの近似がいつまで正確かは定かではない。
この問題は、自然操作系が長い入力シーケンス、すなわち大きな$t$を含む、現代の反復シーケンスモデルに特に関係している。
複素ガウス初期化の下で線形反復状態における隠れ状態信号エネルギーの正確な有限幅公式を導出する。
これらの公式を用いて,信号伝搬を管理する結合深さ幅スケーリング機構を同定する。
i) 無限幅近似が有効である部分臨界体制$t=o(\sqrt n)$
(ii)臨界状態 $t\sim c\sqrt n$ で、無限幅の予測から無視できない偏差が現れ、非自明な共同スケーリング極限が現れる。
(iii) 超臨界状態 $t\gg \sqrt n$ で、有限幅効果が支配的である。
このようにして、無限幅理論が長距離線形再帰で分解される正確な再帰深さ尺度を導出する。
逆にこれは、Grorotのような標準初期化スキームが不安定になることを示す。
より広範に, 有限幅効果はフィードフォワードモデルよりも, 繰り返しモデルでより高速に蓄積し, 定性的に異なる信号伝搬挙動をもたらすことを示した。
関連論文リスト
- Across the Loss Landscape with Progressive Growth [51.366966420881646]
成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。
制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。
プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
論文 参考訳（メタデータ） (2026-08-25T13:50:48Z) - Spectral Dynamics in Deep Networks: Feature Learning, Outlier Escape, and Learning Rate Transfer [46.50233782149623]
本研究では,(確率的な)勾配勾配で学習した広帯域ニューラルネットワークにおける隠れ重みスペクトルの進化について検討する。
我々は、スパイクされたアンサンブルに対するバルクおよび外周スペクトルダイナミクスを共同で追跡する2レベル力学平均場理論(DMFT)を開発した。
論文 参考訳（メタデータ） (2026-05-08T15:28:01Z) - Towards Initialization-dependent and Non-vacuous Generalization Bounds for Overparameterized Shallow Neural Networks [21.223229143122897]
我々は,一般のリプシッツ活性化関数を持つ浅層ニューラルネットワークの高速初期化依存境界を開発する。
我々の境界は、新しい剥離技術を導入することによって導かれる初期化からの距離の経路ノルムに依存する。
また、定数係数までしっかりとした下界を発達させる。
論文 参考訳（メタデータ） (2026-04-01T05:42:40Z) - Parallel Complex Diffusion for Scalable Time Series Generation [50.01609741902786]
PaCoDiは周波数領域における生成モデリングを分離するスペクトルネイティブアーキテクチャである。
本研究では,PaCoDiが生成品質と推論速度の両方において,既存のベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2026-02-10T14:31:53Z) - Revisiting Glorot Initialization for Long-Range Linear Recurrences [35.51491162256673]
Glorotは安定した信号伝搬を保証するように設計されている。
スペクトル半径の小さな正の偏差は時間を通して増幅され、隠れた状態が爆発する。
本稿では,Grorotのスペクトル半径をわずかに下方へシフトさせる簡易な次元認識再スケーリングを提案する。
論文 参考訳（メタデータ） (2025-05-26T11:04:59Z) - Implicit Bias of Gradient Descent for Logistic Regression at the Edge of
Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く
本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文 参考訳（メタデータ） (2023-05-19T16:24:47Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - High-dimensional Asymptotics of Langevin Dynamics in Spiked Matrix
Models [3.712310463095685]
本稿では,Langevinアルゴリズムの出力と植込み信号との重なりの「パスワイズ」特性について述べる。
第2の寄与として、拡散における信号対雑音比と入射雑音の制限重なりについて、明示的な式を導出する。
論文 参考訳（メタデータ） (2022-04-09T14:03:21Z) - The Future is Log-Gaussian: ResNets and Their Infinite-Depth-and-Width
Limit at Initialization [18.613475245655806]
ReLU ResNets in the infinite-depth-and-width limit, where both depth and width tend to infinity as their ratio, $d/n$。
モンテカルロシミュレーションを用いて、標準ResNetアーキテクチャの基本的な性質でさえガウス極限で十分に捉えられていないことを示した。
論文 参考訳（メタデータ） (2021-06-07T23:47:37Z) - Better Depth-Width Trade-offs for Neural Networks through the lens of
Dynamical Systems [24.229336600210015]
近年, 動的システムとの新たな接続により, ReLU ネットワークの深度分離結果を得た。
既存の幅の低い境界を、いくつかの面で改善する。
我々の結果の副産物は、深さ幅のトレードオフを特徴づける普遍定数が存在することである。
論文 参考訳（メタデータ） (2020-03-02T11:36:26Z) - On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。
その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。
しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文 参考訳（メタデータ） (2020-01-28T16:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。