論文の概要: Fast Learning Rate Transfer in Shallow Linear Networks at Growing Training Horizons

• arxiv url: http://arxiv.org/abs/2609.35029v1
• Date: Mon, 28 Sep 2026 12:28:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:41:08.039545
• Title: Fast Learning Rate Transfer in Shallow Linear Networks at Growing Training Horizons
• Title（参考訳）: 訓練用ホライズンズの浅層線形ネットワークにおける高速学習速度伝達
• Abstract要約: 成長する水平体制における迅速な移動を確実にする条件について検討する。 具体的には,1つのトレーニング可能な隠れ行列を持つ浅い線形ネットワークにおける学習速度の伝達について検討する。 これらの結果は、スペクトル構造と局所損失感度が、成長する地平線における学習速度伝達をどのように支配するかを明らかにする。
• 参考スコア（独自算出の注目度）: 6.2000582635449994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter transfer across model width can substantially reduce the cost of tuning large neural networks, but its behavior when the training horizon grows with width is not fully understood. Building on the framework of fast hyperparameter transfer (Ghosh et al., 2026), which formalizes when transfer is effective, we investigate conditions that ensure fast transfer in the growing-horizon regime. Specifically, we study learning-rate transfer in a shallow linear network with a single trainable hidden matrix, trained by full-batch gradient descent. Under additional spectral assumptions, our main results are threefold. (i) We prove fast learning-rate transfer as $n,T\to\infty$ whenever $T=o(\sqrt{n})$. (ii) We characterize the transfer rates through the finite-width perturbation scale, the first-order sensitivities of the loss and its learning-rate derivative to finite-width perturbations, and the local loss curvature. (iii) We derive limiting distributions for the optimal learning rate and optimized loss, governed by fluctuations associated with the extreme eigenvalues of the data Gram matrix. These results clarify how spectral structure and local loss sensitivities govern learning-rate transfer at growing horizons.
• Abstract（参考訳）: モデル幅を越えたハイパーパラメータ転送は、大きなニューラルネットワークをチューニングするコストを大幅に削減することができるが、トレーニング水平線が幅とともに大きくなると、その振る舞いが完全には理解されない。 高速なハイパーパラメータ移動(Ghosh et al , 2026)の枠組みを基盤として, 成長する水平政権における高速な転送を保証する条件について検討する。 具体的には,1つのトレーニング可能な隠れ行列を持つ浅層線形ネットワークにおける学習速度の伝達について検討する。 追加のスペクトル仮定では、主な結果は3倍になる。 (i) $T=o(\sqrt{n})$ がいつでも $n,T\to\infty$ として学習速度の速さを証明します。 (II) 有限幅摂動スケールによる転送速度, 損失の1次感度, 有限幅摂動に対する学習速度微分, 局所的損失曲率を特徴付ける。 (3)データグラム行列の極端固有値に付随するゆらぎに支配される最適学習率と最適損失の限定分布を導出する。 これらの結果は、スペクトル構造と局所損失感度が、成長する地平線における学習速度伝達をどのように支配するかを明らかにする。

関連論文リスト

• Minimum-Norm Interpolation Under Covariate Shift [14.863831433459902]
  高次元線形回帰に関する非分布研究は、テキシトベニンオーバーフィッティング(textitbenign overfitting)として知られる現象の同定につながった。 本稿では,移動学習環境における線形補間器の非漸近的過剰リスク境界を初めて証明する。
  論文  参考訳（メタデータ） (2024-03-31T01:41:57Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
  線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。 非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。 我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
  論文  参考訳（メタデータ） (2022-01-28T07:31:19Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Implicit bias of deep linear networks in the large learning rate phase [15.846533303963229]
  大規模学習率体系におけるロジスティック損失を用いた二項分類のための深い線形ネットワークの暗黙バイアス効果を特徴付ける。 データの分離条件により、勾配降下反復はカタパルト相においてより平坦な最小値に収束すると主張する。
  論文  参考訳（メタデータ） (2020-11-25T06:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。