論文の概要: GPAS: Accelerating Convergence of LLM Pretraining via Gradient-Preserving Activation Scaling

• arxiv url: http://arxiv.org/abs/2506.22049v1
• Date: Fri, 27 Jun 2025 09:45:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.154428
• Title: GPAS: Accelerating Convergence of LLM Pretraining via Gradient-Preserving Activation Scaling
• Title（参考訳）: GPAS: グラディエント保存活性化スケーリングによるLLMプレトレーニングの収束促進
• Authors: Tianhao Chen, Xin Xu, Zijing Liu, Pengxiang Li, Xinyuan Song, Ajay Kumar Jaiswal, Fan Zhang, Jishan Hu, Yang Wang, Hao Chen, Shizhe Diao, Shiwei Liu, Yu Li, Yin Lu, Can Yang,
• Abstract要約: Gradient-Preserving Activation Scaling (GPAS)は、既存のアプローチと組み合わせて使用できるシンプルなテクニックである。 GPASは、その勾配を一定に保ちながら中間活性化をスケールダウンすることで機能する。 モデルサイズが71Mから1Bまで多岐にわたる実験の結果,GPASが一貫した性能向上を達成できた。
• 参考スコア（独自算出の注目度）: 38.36750539707171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Large Language Models, such as the LLaMA, Qwen and DeepSeek series, predominantly adopt the Pre-LayerNorm (Pre-LN) Transformer architecture. While being stable during pretraining and scalable to large model sizes, Pre-LN suffers from an exponential growth in activation variance across layers, causing the residual path to dominate over sub-layer outputs and limiting the learning capacity of deeper layers. To mitigate this issue, we propose Gradient-Preserving Activation Scaling (GPAS), a simple technique that can be used in combination with existing approaches. GPAS works by scaling down the intermediate activations while keeping their gradients unchanged. This leaves information in the activations intact, and avoids the gradient vanishing problem associated with gradient downscaling. Extensive experiments across various model sizes from 71M to 1B show that GPAS achieves consistent performance gains. Beyond enhancing Pre-LN Transformers, GPAS also shows promise in improving alternative architectures such as Sandwich-LN and DeepNorm, demonstrating its versatility and potential for improving training dynamics in a wide range of settings.
• Abstract（参考訳）: LLaMA、Qwen、DeepSeekといった現代の大規模言語モデルは、主にPre-LayerNorm (Pre-LN) Transformerアーキテクチャを採用している。 Pre-LNは、事前トレーニング中に安定し、大きなモデルサイズにスケーラブルであるが、層間でのアクティベーションのばらつきが指数関数的に増加し、サブ層出力よりも残留経路が支配的になり、より深い層の学習能力が制限される。 この問題を軽減するために,既存のアプローチと組み合わせて使用できるシンプルな手法であるGPAS(Gradient-Preserving Activation Scaling)を提案する。 GPASは、その勾配を一定に保ちながら中間活性化をスケールダウンすることで機能する。 これにより、アクティベーションの情報がそのまま残され、勾配のダウンスケーリングに伴う勾配の消失問題を回避することができる。 モデルサイズが71Mから1Bまで多岐にわたる実験の結果,GPASが一貫した性能向上を達成できた。 Pre-LNトランスフォーマーの強化以外にも、GPASはSandwich-LNやDeepNormといった代替アーキテクチャの改善を約束している。

関連論文リスト

• LARGO: Low-Rank Regulated Gradient Projection for Robust Parameter Efficient Fine-Tuning [39.56217775141507]
  Low-rAnk Regulated Gradient Projection (LARGO)アルゴリズムは、動的制約を低ランク適応法に統合する。 LARGOは、ドメイン内および配布外のシナリオで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-06-14T08:19:11Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• The Curse of Depth in Large Language Models [28.37870372690079]
  本稿では,最近のLarge Language Models(LLMs)における近年の観察に注目し,説明し,対処する概念であるCurse of Depthを紹介する。 この現象は、Llama、Mistral、DeepSeek、QwenといったLLMの最も人気のあるファミリーにまたがって初めて確認した。 実験の結果, モデルサイズを130Mから1Bに分散したLayerNorm Scalingは, Pre-LNと比較して, LLM事前学習性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-02-09T07:03:36Z)
• Fast and Slow Gradient Approximation for Binary Neural Network Optimization [11.064044986709733]
  ハイパーネットワークに基づく手法は、ニューラルネットワークを用いて微分不可能な量子化関数の勾配を学習する。 本稿では,ヒストリ・グラディエント・ストレージ(HGS)モジュールを提案する。これは,ヒストリ・グラディエント・シーケンスをモデル化し,最適化に必要な1次モーメントを生成する。 また、ハイパーネットワークに層認識埋め込み(LRE)を導入し、層固有の微細勾配の生成を容易にする。
  論文  参考訳（メタデータ） (2024-12-16T13:48:40Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Gradient Projection For Continual Parameter-Efficient Tuning [42.800411328615894]
  我々は勾配投影の観点からAdapter, LoRA, Prefix-tuning, Prompt-tuningを再構成する。 大規模モデルであっても,勾配の条件は忘れることに効果的に抵抗できることを示す。 多様なデータセットを用いて,VTやCLIPを含む異なるバックボーンを用いて,本手法を広範囲に評価した。
  論文  参考訳（メタデータ） (2024-05-22T06:33:48Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。