論文の概要: Learning Rate Transfer and Feature Learning Across Depth for Constrained Spectral Optimizers: Complete Scion
- arxiv url: http://arxiv.org/abs/2611.15291v1
- Date: Wed, 11 Nov 2026 10:26:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.101175
- Title: Learning Rate Transfer and Feature Learning Across Depth for Constrained Spectral Optimizers: Complete Scion
- Title(参考訳): 制約スペクトル最適化器の深部における学習速度伝達と特徴学習:完全シオン
- Abstract要約: 同様の変換が制約付き最適化手法、特にフランク=ウルフおよび非ユークリッド正規化降下に拡張されるかどうかを考察する。
我々はこれらの手法のスケーリングルールを導出し、残留スケーリングが1/L$で適用可能であることを確認した。
本分析は,Scionアルゴリズムの学習率の深さワイド変換と幅ワイド変換をサポートし,特徴学習を保証し,カーネル登録を回避する。
- 参考スコア(独自算出の注目度): 0.4499833362998487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperparameter transfer across model depth is instrumental in training deep models, as it enables learning rates calibrated on shallow networks to be effectively applied to deeper architectures. The recent CompleteP framework establishes a $1/L$ residual scaling rule that demonstrates this for Adam-family optimizers. We study whether similar transfer extends to constrained optimization methods, specifically Frank-Wolfe and projected non-Euclidean normalized steepest descent, where updates are determined by linear minimization oracles. We derive scaling rules for these methods which confirm that the $1/L$ residual scaling applies, although the arguments differ from the Adam-family optimizers. Our analysis supports depth-wise transfer and width-wise transfer of the learning rate for the Scion algorithm while ensuring feature learning and avoiding the kernel-regime. In experiments on NLP transformers (nanoGPT on FineWeb), vision transformers (DeiT on ImageNet), and vision MLPs (MLP-Mixer on CIFAR-10), we observe learning rate transfer across depth and feature learning for appropriately chosen residual scaling.
- Abstract(参考訳): モデル深度を越えたハイパーパラメータ転送は、浅いネットワーク上で校正された学習率をより深いアーキテクチャに効果的に適用できるため、深度モデルのトレーニングに欠かせない。
最近のCompletePフレームワークは、Adamファミリーオプティマイザのためにこれを示す1/Lの残留スケーリングルールを確立している。
特にフランク=ウルフと非ユークリッド正規化急降下(英語版)による線形最小化オークル(英語版)によって更新が決定されるような制約付き最適化手法(英語版)に類似の転送が拡張されるかどうかを考察する。
我々はこれらの手法のスケーリングルールを導出し、1/L$の残留スケーリングが適用されることを確認したが、議論はアダム・ファミリーのオプティマイザとは異なる。
本分析は,Scionアルゴリズムの学習率の深さワイド変換と幅ワイド変換をサポートし,特徴学習を保証し,カーネル登録を回避する。
In experiment on NLP transformer (nanoGPT on FineWeb), vision transformer (DeiT on ImageNet), vision MLPs (MLP-Mixer on CIFAR-10), we observed learning rate transfer across depth and feature learning for appropriate chosen residual scaling。
関連論文リスト
- How to Set the Learning Rate for Large-Scale Pre-training? [73.03133634525635]
我々はこの調査を2つの異なる研究パラダイムであるフィッティングとトランスファーに定式化する。
フィッティングパラダイムでは,探索係数のスケーリング法則を導入し,O(n3) から O(n*C_D*C_) への探索複雑性を予測モデルにより効果的に低減する。
我々は、$Transferの原則をMixture of Experts (MoE)アーキテクチャに拡張し、モデル深さ、重量減衰、トークン水平線を含む適用範囲を広げる。
論文 参考訳(メタデータ) (2026-01-08T15:55:13Z) - Hyperparameter Transfer Enables Consistent Gains of Matrix-Preconditioned Optimizers Across Scales [55.91454326946738]
学習速度と減量率の最適化は,幅広い言語に対して,モデルの幅と深さでどのようにスケールするかを検討する。
我々は、$Pによる学習率のスケーリングは転送を改善するが、それでもかなりの有限幅偏差に悩まされる可能性があることを見出した。
計算-最適スケーリングでは、独立したウェイト崩壊が1/mathrmwidth$で言語間でほぼ最適であることが分かる。
論文 参考訳(メタデータ) (2025-12-05T11:03:41Z) - Don't be lazy: CompleteP enables compute-efficient deep transformers [50.85418589942566]
いくつかのパラメータ化はモデル深さの変化に対して最適なベースHPの転送に失敗する。
遅延学習システムにはまだパラメータ化が存在する可能性を示す理論を開発する。
我々は、Deep-wise HP Transferと非遅延学習の両方をすべての層で実現するCompletePと呼ぶパラメータ化を特定し、採用する。
論文 参考訳(メタデータ) (2025-05-02T22:45:14Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-17T08:32:25Z) - Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling [27.058009599819012]
本稿では,Adamスタイルにおける最適学習率とバッチサイズとの関係について検討する。
最適学習率が最初に上昇し、バッチサイズが大きくなるにつれて低下することを示す。
論文 参考訳(メタデータ) (2024-05-23T13:52:36Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。