論文の概要: Measuring the local shape of learning-rate transfer curves

• arxiv url: http://arxiv.org/abs/2610.21814v1
• Date: Thu, 15 Oct 2026 13:01:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.085933
• Title: Measuring the local shape of learning-rate transfer curves
• Title（参考訳）: 学習速度伝達曲線の局所的形状の測定
• Abstract要約: LR転送曲線の勾配をよく説明できる2つの関係式を提供する。 理論上、正規化層の特定の条件下で曲線の勾配とゼロ勾配に下界を示す。
• 参考スコア（独自算出の注目度）: 25.807726418910562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the learning-rate (LR) dependence of trained model performance is essential for better optimization of neural networks, but the appropriate size of the LR depends on learning dynamics, architecture, and their hidden biases, and thus our understanding of this complex dependence remains limited. The behavior of the loss curve as a function of the LR has recently been observed in extensive experiments on LR transfer across different settings, such as model sizes, and it is becoming more important to explore methodologies for quantitatively characterizing the shape of this LR curve. In this work, we provide two relational equations that give a good empirical explanation of the gradient of the LR transfer curve, i.e., the LR gradient. One is a theoretical formula that holds at the edge of stability, and the other is an approximate expression obtained by naively treating this gradient as a hyper-parameter gradient. Using these two relational equations in a complementary manner, we show a lower bound on the gradient of the curve and a zero gradient under specific conditions for normalization layers in theory. The approximate expression also applies to a wide range of experimental settings and allows us to decompose the LR gradient into layer-wise components and quantify the strong contribution of specific layers to the curve shape. Thus, this serves as a foundation for better understanding the internal mechanisms of LR dependence.
• Abstract（参考訳）: 訓練されたモデル性能の学習速度(LR)依存を理解することは、ニューラルネットワークの最適化に不可欠であるが、LRの適切なサイズは、学習力学、アーキテクチャ、その隠れバイアスに依存するため、この複雑な依存に対する理解は限られている。 LRの関数としての損失曲線の挙動は、最近、モデルサイズなどの異なる設定でのLR転送に関する広範な実験で観測されており、このLR曲線の形状を定量的に特徴づけるための方法論を探求することがより重要になっている。 本研究では、LR伝達曲線の勾配、すなわちLR勾配のよい経験的説明を与える2つの関係式を提供する。 1つは安定性の端で成り立つ理論式であり、もう1つは、この勾配を超パラメータ勾配として鼻で処理して得られる近似式である。 これら2つの関係方程式を相補的に用いて、理論上の正規化層の特定の条件下で曲線の勾配とゼロ勾配の低い境界を示す。 近似式はまた、幅広い実験条件にも適用され、LR勾配を層状成分に分解し、曲線形状への特定の層の強い寄与を定量化することができる。 したがって、これはLR依存の内部メカニズムをよりよく理解するための基盤となる。

関連論文リスト

• A Journey to the Edge of Stability [53.81268610971847]
  深層学習は、最大ヘッセン固有値モデルが学習率と相反する値で安定化される「安定性の端」(EoS)でしばしば起こる。 深層学習問題を解き、深層学習率のスイープで一階最適化法を変化させる。 次に、学習軌跡の特徴量、すなわち損失、鋭さ、連続的な勾配間のアライメントを追跡する。
  論文  参考訳（メタデータ） (2026-09-26T06:28:18Z)
• Geometry of learning dynamics: Gradient descent versus natural gradient on the ridge of optimization [0.0]
  カーネルロジスティック回帰(KLR)に基づく高容量連想記憶は「最適化のライダー」を示す 本稿では,KLR学習ホップフィールドネットワークの統計多様体上での学習軌跡の幾何学的解析を行う。 本研究は,GDとNGDの経路を比較することにより,最適化プロセスを管理するメカニズムを解明する。
  論文  参考訳（メタデータ） (2026-09-15T08:11:56Z)
• DegBins: Degradation-Driven Binning for Depth Super-Resolution [57.61783461543096]
  DegBinsは、劣化駆動のビンニングを利用して残留モデリングを適応的に強化する新しいDSRフレームワークである。 DegBinsは、精度、堅牢性、一般化の観点から、既存の最先端メソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-10T16:17:11Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Scaling Law with Learning Rate Annealing [4.121865876406014]
  ニューラルネットワークモデルのクロスエントロピー損失曲線は、学習速度(LR)がトレーニングステップを上回り、スケーリング法則に準拠している。 LRアニールによるスケーリング法則の適用により、学習速度(LRS)の任意のステップにおける損失を正確に予測することができる。
  論文  参考訳（メタデータ） (2024-08-20T17:30:48Z)
• On the Natural Gradient of the Evidence Lower Bound [0.0]
  本稿では,エビデンス・ローバウンド(ELBO)のフィッシャー・ラオ勾配(自然勾配とも呼ばれる)について考察する。 このことは、エビデンスとその下限であるELBOの間のギャップが、本質的に、制約のない最適化の中で消滅する自然勾配を持つことを明らかにする。
  論文  参考訳（メタデータ） (2023-07-20T21:49:38Z)
• On the Weight Dynamics of Deep Normalized Networks [5.250288418639077]
  ディープニューラルネットワークの層間の効果的な学習率(ELR)の相違は、トレーニング容易性に悪影響を及ぼす可能性がある。 正規化層を持つネットワークの重み力学をモデル化することにより、これらの相違が時間とともにどのように進化するかを定式化する。 一定の学習率のトレーニングでは,初期勾配の爆発にもかかわらず,ELR比が1に収束することが証明された。
  論文  参考訳（メタデータ） (2023-06-01T14:09:52Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• A unified view of likelihood ratio and reparameterization gradients [91.4645013545015]
  我々は、LRとRPが確率質量の運動を追跡する代替方法であることを示すために、第一原理のアプローチを用いる。 LRとRPを組み合わせた全ての可能な推定器の空間は、流れ場によって完全にパラメータ化可能であることを示す。 したがって、より優れたモンテカルロ勾配推定器をどこに探すべきかを明確にする。
  論文  参考訳（メタデータ） (2021-05-31T11:53:08Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。