論文の概要: Rare Gate Disagreements Can Limit Plasticity: When Gradient Flow Mispredicts Finite-Batch SGD
- arxiv url: http://arxiv.org/abs/2610.11475v1
- Date: Thu, 08 Oct 2026 08:22:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.890079
- Title: Rare Gate Disagreements Can Limit Plasticity: When Gradient Flow Mispredicts Finite-Batch SGD
- Title（参考訳）: グラディエントフローが有限バッチSGDを誤認した場合、希少なゲートの分解は塑性を制限できる
- Abstract要約: 人口勾配の流れは、ニューラルネットワークがどのように適応するかを推論するための一般的なツールである。
有限バッチ勾配勾配を誤予測できることが示される。
- 参考スコア（独自算出の注目度）: 18.94199732493573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Population gradient flow is a common tool for reasoning about how neural networks adapt, including after pretraining. We show that it can mispredict finite-batch stochastic gradient descent (SGD) qualitatively, and we trace the discrepancy to a specific mechanism. In a two-unit ReLU regression, a source task drives the two neurons toward positive proportionality and a target task rewards separating them. After source training for time $T$, gradient flow recovers on the target in time linear in $T$. Online SGD with batch size $b$ and step size $η$ in both phases instead fails with high probability throughout a horizon of order $e^{c/η}$ once $T \gtrsim \log(b/η)$, uniformly on an explicit set of initializations with Gaussian probability above one percent. For each fixed $T$, small-step SGD still recovers, so the failure requires the joint limit of small steps and long pretraining. At the target clone, the population instability is carried entirely by inputs on which the two ReLU gates disagree. For units at angle $δ$ these inputs form a wedge of probability $δ/π$, and weight decay shrinks the angle exponentially during pretraining. On every other input both units receive the same random linear update, which contracts their separation in conditional expectation. Bounding the cumulative probability of sampling the wedge along the exact online recursion, without a diffusion approximation, shows that recovery with fixed probability from an identical source-gradient-flow checkpoint, within $e^{c/η}$ updates, requires $Nb \gtrsim e^{λT}$ target samples and batch size $b \gtrsim ηe^{λT}$, where $N$ counts updates and $λ$ is the weight decay. In simulations, recovery is approximately a function of the disagreement budget $bδ/η$ and saturates in the horizon.
- Abstract（参考訳）: 人口勾配の流れは、ニューラルネットワークの適応の仕方を推論するための一般的なツールである。
有限バッチ確率勾配降下(SGD)を定性的に予測し,その差を特定のメカニズムに遡ることを示す。
2単位のReLU回帰では、ソースタスクが2つのニューロンを正比例方向に駆動し、ターゲットタスクの報酬がそれらを分離する。
時間$T$のソーストレーニングの後、勾配フローは時間$T$で線形にターゲット上で回復する。
バッチサイズが$b$とステップサイズが$η$のオンラインSGDは、代わりに位数$e^{c/η}$ once $T \gtrsim \log(b/η)$の水平線を通して高い確率で失敗する。
固定されたT$ごとに、小さなステップのSGDは依然として回復するので、失敗には小さなステップと長い事前訓練のジョイント制限が必要である。
ターゲットクローンでは、2つのReLUゲートが一致しない入力によって、人口不安定が完全に運ばれる。
角度 $δ$ の単位に対して、これらの入力は確率 $δ/π$ のくさびを形成し、ウェイト崩壊は事前訓練中に指数関数的に角度を縮める。
他の全ての入力では、両方のユニットは同じランダムな線形更新を受け取り、条件付き期待で分離を契約する。
拡散近似なしで、正確なオンライン再帰に沿ってウェッジをサンプリングする累積確率をバウンドすると、$e^{c/η}$の更新で、同じソース-勾配-フローチェックポイントから固定された確率で回復するには、$Nb \gtrsim e^{λT}$のターゲットサンプルとバッチサイズ$b \gtrsim ηe^{λT}$が必要であり、$N$は更新をカウントし、$λ$はウェイト崩壊である。
シミュレーションでは、リカバリは不一致の予算である$bδ/η$の関数であり、水平線で飽和する。
関連論文リスト
- Linear RNN Scaling Laws: When Longer Sequences Beat More Sequences [17.927451930317197]
自己回帰言語モデルの実証的なスケーリング法則は、予測損失をモデルサイズ、データサイズ、最適化計算に関連付ける。
本研究では,安定な潜在線形RNNが軌道を発生し,スケッチされた線形リカレント学習者は,次の予測に基づいて,安全でフルバッチなWSD勾配勾配で学習する,学習可能な教師-学生モデルを用いて検討する。
論文 参考訳（メタデータ） (2026-08-23T13:37:15Z) - Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Asymptotic-Preserving A Posteriori Analysis of Diffusion and Flow-Matching Samplers [0.6768558752130311]
拡散及びフローマッチングサンプリングは、学習した確率フローODEを、大きなノイズスケールから小さな終端フロア($_min$)まで統合し、スコアが硬く、フローが境界層を発達させる。
特異摂動パラメータとして$_min$を扱い、どの固定ステップサンプリングが解けるかを決定する。
論文 参考訳（メタデータ） (2026-07-05T04:48:33Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - From One-Pass SGD to Data Reuse: Mini-Batch Scaling Laws in Sketched Linear Regression [13.325673179579818]
本研究では,1パスのバッチSGD,複数パスのバッチSGD,複数パスのバッチSGDを置換せずに解析する。
1パスのバッチSGDはバイアスと分散に分割される一方、2つのマルチパス法はGDバイアス、GD分散、および揺らぎ項に分割される。
我々は,ワンパスおよびマルチパスのミニバッチ手法のソース条件スケーリング法を証明した。
論文 参考訳（メタデータ） (2026-05-23T00:48:36Z) - How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum [3.9929570259734604]
RLVR と log-marginal-likelihood を補間する統合損失ファミリ J_Q$ を示す。
すべてのメンバは、学習率とは独立して各インスタンスを再重み付けするインスタンス毎の$P_q$でのみ異なる、サンプル毎の勾配方向を共有する。
J_Q$連続体上の固定値q$を直接最適化する2つのモンテカルロ推定子を、注釈付き有理数なしで導出する。
論文 参考訳（メタデータ） (2026-04-28T17:52:38Z) - Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳（メタデータ） (2026-04-12T20:49:33Z) - Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。
平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
論文 参考訳（メタデータ） (2025-04-28T16:58:55Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳（メタデータ） (2025-04-06T18:39:45Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。