論文の概要: Taming Transformer Without Using Learning Rate Warmup

• arxiv url: http://arxiv.org/abs/2505.21910v1
• Date: Wed, 28 May 2025 02:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.380581
• Title: Taming Transformer Without Using Learning Rate Warmup
• Title（参考訳）: 学習率ワームアップを使わずに処理するトランス
• Authors: Xianbiao Qi, Yelin He, Jiaquan Ye, Chun-Guang Li, Bojia Zi, Xili Dai, Qin Zou, Rong Xiao,
• Abstract要約: Transformerを大規模にスケールすることは、学習率のウォープのような技術的なトリックを使わずに、非常に難しい作業です。 本稿では,新たな最適化戦略,すなわち重み更新をスムーズに行う。 我々は、ViT、Swin-Transformer、GPTを用いて広範な実験を行い、学習率ウォームアップを使わずに、これらのトランスフォーマーを効果的に安定的に訓練できることを示す。
• 参考スコア（独自算出の注目度）: 11.9495483265072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling Transformer to a large scale without using some technical tricks such as learning rate warump and using an obviously lower learning rate is an extremely challenging task, and is increasingly gaining more attention. In this paper, we provide a theoretical analysis for the process of training Transformer and reveal the rationale behind the model crash phenomenon in the training process, termed \textit{spectral energy concentration} of ${\bW_q}^{\top} \bW_k$, which is the reason for a malignant entropy collapse, where ${\bW_q}$ and $\bW_k$ are the projection matrices for the query and the key in Transformer, respectively. To remedy this problem, motivated by \textit{Weyl's Inequality}, we present a novel optimization strategy, \ie, making the weight updating in successive steps smooth -- if the ratio $\frac{\sigma_{1}(\nabla \bW_t)}{\sigma_{1}(\bW_{t-1})}$ is larger than a threshold, we will automatically bound the learning rate to a weighted multiple of $\frac{\sigma_{1}(\bW_{t-1})}{\sigma_{1}(\nabla \bW_t)}$, where $\nabla \bW_t$ is the updating quantity in step $t$. Such an optimization strategy can prevent spectral energy concentration to only a few directions, and thus can avoid malignant entropy collapse which will trigger the model crash. We conduct extensive experiments using ViT, Swin-Transformer and GPT, showing that our optimization strategy can effectively and stably train these Transformers without using learning rate warmup.
• Abstract（参考訳）: 学習率のワープや明らかに低い学習率といった技術的なトリックを使わずに、Transformerを大規模にスケールすることは、非常に難しい作業であり、ますます注目を集めている。 本稿では,Transformerのトレーニング過程に関する理論的解析を行い,このトレーニング過程におけるモデルクラッシュ現象の理論的根拠を明らかにする。例えば,${\bW_q}^{\top} \bW_k$は悪性エントロピー崩壊の原因であり,${\bW_q}$と$\bW_k$は問合せ用およびキー用プロジェクション行列である。 この問題を解決するために、 \textit{Weyl's Inequality} に動機づけられた新しい最適化戦略である \ie を紹介します -- 比 $\frac{\sigma_{1}(\nabla \bW_t)}{\sigma_{1}(\bW_{t-1})}$ がしきい値より大きい場合、学習速度を $\frac{\sigma_{1}(\bW_{t-1})}{\sigma_{1}(\nabla \bW_t)}$ の重み付き倍に自動的に拘束します。 このような最適化戦略は、スペクトルエネルギーの集中をわずか数方向に抑えることができるため、モデル崩壊を引き起こす悪性エントロピー崩壊を避けることができる。 我々は、ViT、Swin-Transformer、GPTを用いて広範な実験を行い、学習率ウォームアップを使わずに、最適化戦略が効果的かつ安定的にこれらのトランスフォーマーを訓練できることを示した。

関連論文リスト

• Provable Failure of Language Models in Learning Majority Boolean Logic via Gradient Descent [15.291830857281015]
  勾配法を用いて学習すると,トランスフォーマーが真に単純な多数関数を学習できるかどうかを検討する。 我々の分析は、$mathrmpoly(d)$グラデーションクエリ後も、Transformerモデルの一般化誤差は依然としてかなり大きいことを証明している。
  論文  参考訳（メタデータ） (2025-04-07T03:08:12Z)
• Benefits of Learning Rate Annealing for Tuning-Robustness in Stochastic Optimization [29.174036532175855]
  勾配法における学習速度は、標準グリッドサーチによるチューニングに費用がかかることで悪名高い超特異性である。 我々は,広く使用されているコサインスケジュールなど,学習率を0に低下させる学習速度アニール方式の理論的利点を同定する。
  論文  参考訳（メタデータ） (2025-03-12T14:06:34Z)
• SAPPHIRE: Preconditioned Stochastic Variance Reduction for Faster Large-Scale Statistical Learning [18.055120576191204]
  Ill-conditioned objectives and nonsmooth regularizers under the performance of traditional convex method。 本研究では,不条件な複合型大規模機械学習問題に対する分散自由解を提案する。
  論文  参考訳（メタデータ） (2025-01-27T10:36:45Z)
• On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
  多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
  論文  参考訳（メタデータ） (2024-10-29T03:27:56Z)
• In-context Learning for Mixture of Linear Regressions: Existence, Generalization and Training Dynamics [34.458004744956334]
  高い確率で$mathcalO(sqrtd/n)$の予測誤差を達成できる変換器が存在することを証明した。 また, 1 つの線形自己アテンション層を持つ変圧器のトレーニング力学を解析し, 適切なパラメータで, 人口平均平方損失に対する勾配流の最適化が大域的最適に収束することを示した。
  論文  参考訳（メタデータ） (2024-10-18T05:28:47Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability [34.43255978863601]
  いくつかの説では、トランスフォーマーはオートレアトレーニング中にmesa-optimizerを学習する。 データモーメントに関する強い仮定は、学習されたメザ最適化器が実行可能な十分な必要条件であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T05:41:06Z)
• Towards a Theoretical Understanding of the 'Reversal Curse' via Training Dynamics [45.69328374321502]
  自動回帰型大言語モデル(LLM)は、多くの複雑な推論タスクを解くのに優れた能力を示す。 LLM は、2つの文が意味的に同一であっても、推論中に '$B get A$' と結論付けることができない。 2つの自己回帰モデルに対する勾配降下のトレーニング力学を用いて、理論的に逆の呪いを解析する。
  論文  参考訳（メタデータ） (2024-05-07T21:03:51Z)
• How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
  簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。 トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T16:24:44Z)
• p-Laplacian Transformer [7.2541371193810384]
  グラフと画像信号処理をルーツとする$p$-Laplacian正規化は、これらのデータに対する正規化効果を制御するパラメータ$p$を導入している。 まず、自己注意機構が最小のラプラシアン正規化を得ることを示す。 次に、新しい変圧器のクラス、すなわち$p$-Laplacian Transformer (p-LaT)を提案する。
  論文  参考訳（メタデータ） (2023-11-06T16:25:56Z)
• Modified Step Size for Enhanced Stochastic Gradient Descent: Convergence and Experiments [0.0]
  本稿では,$frac1sqrtttをベースとした変形ステップサイズを改良することにより,勾配降下法(SGD)アルゴリズムの性能向上に新たなアプローチを提案する。 提案されたステップサイズは対数的なステップ項を統合し、最終イテレーションでより小さな値を選択する。 提案手法の有効性について,FashionMNISTとARARを用いて画像分類タスクの数値実験を行った。
  論文  参考訳（メタデータ） (2023-09-03T19:21:59Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• Revisiting Weighted Strategy for Non-stationary Parametric Bandits [82.1942459195896]
  本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。 より単純な重みに基づくアルゴリズムを生成する改良された分析フレームワークを提案する。 我々の新しいフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
  論文  参考訳（メタデータ） (2023-03-05T15:11:14Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。