論文の概要: Taming LLMs by Scaling Learning Rates with Gradient Grouping

• arxiv url: http://arxiv.org/abs/2506.01049v1
• Date: Sun, 01 Jun 2025 15:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.908304
• Title: Taming LLMs by Scaling Learning Rates with Gradient Grouping
• Title（参考訳）: グラディエントグルーピングによる学習率のスケーリングによるLCMのモデリング
• Authors: Siyuan Li, Juanxi Tian, Zedong Wang, Xin Jin, Zicheng Liu, Wentao Zhang, Dan Xu,
• Abstract要約: 大きな言語モデル(LLM)のトレーニングは、その大規模で異質なアーキテクチャのため、課題を提起する。 SGG(Scaling with Gradient Grouping)は、動的グルーピングとグループ固有のスケーリングによる適応的な学習率推定を改善するグラデーションラッパーである。
• 参考スコア（独自算出の注目度）: 49.91587150497186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large language models (LLMs) poses challenges due to their massive scale and heterogeneous architectures. While adaptive optimizers like AdamW help address gradient variations, they still struggle with efficient and effective parameter-wise learning rate estimation, resulting in training instability, slow convergence, and poor compatibility with parameter-efficient fine-tuning (PEFT) techniques. This work introduces Scaling with Gradient Grouping (SGG), an optimizer wrapper that improves adaptive learning rate estimation by dynamic grouping and group-specific scaling. SGG first groups gradient statistics in each layer into clusters and then applies cluster-specific scaling to calibrate learning rates for each parameter, thus imposing collective group-wise constraints while maintaining precise per-parameter adaptation. Experiments on diverse (M)LLM benchmarks show that SGG integrates seamlessly with existing optimizers, and offers consistent gains and faster convergence over baselines, with various model sizes. Its stability across varying batch sizes and learning rates establishes SGG as a robust choice for LLM optimization.
• Abstract（参考訳）: 大きな言語モデル(LLM)のトレーニングは、その大規模で異質なアーキテクチャのため、課題を提起する。 AdamWのような適応型オプティマイザは勾配変化に対処するのに役立ち、効率的かつ効果的なパラメータワイド学習率推定に苦慮しているため、トレーニングの不安定性、緩やかな収束、パラメータ効率のよい微調整(PEFT)技術との互換性が低い。 SGG(Scaling with Gradient Grouping)は、動的グルーピングとグループ固有のスケーリングによる適応的な学習率推定を改善するオプティマイザラッパーである。 SGGはまず各層における勾配統計をクラスタにグループ化し、次にクラスタ固有のスケーリングを適用して各パラメータの学習率を調整し、正確なパラメータごとの適応を維持しながら集団的な制約を課す。 多様な(M)LLMベンチマークの実験では、SGGは既存のオプティマイザとシームレスに統合され、ベースラインよりも一貫したゲインとより高速な収束を提供する。 様々なバッチサイズと学習速度の安定性は、SGGをLLM最適化の堅牢な選択として確立する。

関連論文リスト

• Architect Your Landscape Approach (AYLA) for Optimizations in Deep Learning [0.0]
  グラディエントDescent(DSG)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。 本稿では適応性と効率性を向上する新しい最適化手法であるAYLAを紹介する。
  論文  参考訳（メタデータ） (2025-04-02T16:31:39Z)
• Gradient Correction in Federated Learning with Adaptive Optimization [19.93709245766609]
  クライアント-ドリフト補償を適応最適化に組み込む最初のアルゴリズムである tt FAdamGC を提案する。 tt FAdamGCは、様々なレベルのデータの通信とコストにおいて、既存の手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-04T21:21:30Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
  大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。 本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。 提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T18:43:49Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Adaptive Optimizers with Sparse Group Lasso for Neural Networks in CTR Prediction [19.08180531016811]
  深層学習における適応の族にスパース群ラッソの正規化子を追加する新しいフレームワークを開発する。 理論的に凸な設定では,収束保証が確立される。 提案手法は, 極めて優れた性能, 高い競争性能を達成できる。
  論文  参考訳（メタデータ） (2021-07-30T05:33:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。