論文の概要: Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference

• arxiv url: http://arxiv.org/abs/2609.05275v1
• Date: Fri, 04 Sep 2026 15:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.104699
• Title: Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference
• Title（参考訳）: ドロップアウトしない: 効率的なLCMトレーニングと推論のための層間隙の最適化
• Abstract要約: より高速なトレーニングと高精度を実現するために、レイヤのドロップアウトが示されている。 レイヤーのドロップアウトは、レシピを事前学習する大きな言語モデルからほとんど姿を消している。 現状のLLMトレーニングでは,レイヤのドロップアウトが有用であることを示す。
• 参考スコア（独自算出の注目度）: 15.267768829315408
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Layer dropout (a.k.a. stochastic depth) has been shown to enable faster training, higher accuracy, and robustness to zero-shot layer pruning in both language and vision transformers. However, as models and datasets have scaled, dropout - particularly layer dropout - has largely disappeared from large language models (LLMs) pre-training recipes. While some prior work has reported that dropout can degrade accuracy, no comprehensive study has quantified, let alone mitigated, this effect. In this study, we show that layer dropout should be used in state-of-the-art LLM training, establishing best practices and scaling analysis for both training and post-training benefits. Concretely, with optimal layer distribution, time schedule, and optimizer hyperparameters, we observe that at the same training FLOPs layer dropout leads to lower loss. For a given number of training steps, LLMs can achieve lower or similar validation loss while saving upto 25% of training FLOPs. Moreover, layer dropout enables significant post-training optimizations, such as early exit, intermediate-layer skipping, and self-speculative decoding, yielding up to 1.5x inference speedup with negligible accuracy loss. Across more than 2400 training experiments, spanning models from 271M to 8.2B parameters and datasets up to 160B tokens, we demonstrate that these findings extend reliably to large-scale training regimes. All pre-training experiments were run on Cerebras CS-3 systems.
• Abstract（参考訳）: レイヤーのドロップアウト(すなわち確率的深さ)は、言語と視覚のトランスフォーマーの両方においてゼロショット層プルーニングに対する高速なトレーニング、高精度、堅牢性を実現することが示されている。 しかしながら、モデルとデータセットがスケールするにつれて、ドロップアウト(特にレイヤのドロップアウト)は、大規模言語モデル(LLM)の事前トレーニングレシピから大きく消えています。 いくつかの先行研究では、ドロップアウトは精度を低下させる可能性があると報告されているが、包括的な研究は、この効果を緩和するだけでなく、定量化していない。 本研究では,最先端のLCMトレーニングにレイヤドロップアウトを用いることで,トレーニングとポストトレーニングの両面でのベストプラクティスの確立とスケーリング分析を行う。 具体的には,最適層分布,時間スケジュール,オプティマイザのハイパーパラメータを用いて,FLOPs層が落下すると損失が減少することを示した。 与えられたトレーニングステップ数に対して、LLMは、トレーニングFLOPの最大25%を節約しながら、低いまたは類似のバリデーション損失を達成することができる。 さらに、レイヤードロップアウトは、早期終了、中間層スキップ、自己投機的復号化などのトレーニング後の大幅な最適化を可能にし、最大1.5倍の推論速度で精度を損なうことができる。 2400以上のトレーニング実験を行い、271Mから8.2Bのパラメータとデータセットから160Bのトークンに至るまでのモデルにまたがって、これらの発見が大規模トレーニング体制に確実に拡張されることを実証した。 全ての事前訓練実験はCerebras CS-3システムで実施された。

関連論文リスト

• Scaling with Collapse: Efficient and Predictable Training of LLM Families [8.979516613284174]
  崩壊は計算効率のトレーニングのサインとして現れる。 計算効率のトレーニングのサインとして崩壊が現れることを示す。 大規模に2つの応用を実演する。
  論文  参考訳（メタデータ） (2025-09-29T17:26:11Z)
• Rethinking 1-bit Optimization Leveraging Pre-trained Large Language Models [32.16681909538446]
  1ビットLLM量子化は、ストレージと計算コストの削減に大きな利点をもたらす。 既存の方法は1ビットのLLMをスクラッチから訓練し、事前訓練されたモデルを完全に活用できなかった。 我々は,浮動小数点重みを二項化にスムーズに変換し,前方および後方の両方に一貫した漸進的トレーニングを導入する。
  論文  参考訳（メタデータ） (2025-08-09T13:00:16Z)
• Drop Dropout on Single-Epoch Language Model Pretraining [30.63248848082757]
  現代のLLMに共通する単一エポックな事前訓練タスクは、最小限のオーバーフィッティングをもたらす。 LMプレトレーニングにおけるドロップアウトの役割について、徹底的な実証研究は行われていない。 言語モデリング,モーコシンタクス(BLiMP),質問応答(SQuAD),自然言語推論(MNLI)のダウンストリーム性能は,事前トレーニング中にドロップアウトを適用しない場合に向上する。
  論文  参考訳（メタデータ） (2025-05-30T16:48:38Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws [51.608402959163925]
  本稿では,大規模言語モデルに対する最適スパース事前学習構成の体系的検討を行う。 総トレーニング計算の25%でプルーニングを開始し、75%で終了すると、ほぼ最適の最終評価損失が得られることがわかった。 本稿では,事前学習よりも平均パラメータ数を使用するように,チンチラスケーリング法を修正した新しいスケーリング法を提案する。
  論文  参考訳（メタデータ） (2025-01-21T20:23:22Z)
• SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training [60.9776082805359]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示しているが、そのトレーニングは、非常にリソース集約的で、トレーニングの不安定性に影響を受けやすいままである。 本稿では,LLMトレーニング中に観測された勾配スパイクを包括的に調査し,複数のアーキテクチャやデータセットにまたがる傾向を明らかにする。 本稿では,モーメントムリセットを用いたスパイク・アウェア・アダムを提案し,モーメントムリセットとスパイク・アウェア・クリッピングによる勾配スパイク対策について述べる。
  論文  参考訳（メタデータ） (2025-01-12T15:21:22Z)
• AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [59.12061830645018]
  より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。 2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• A Fast and Efficient Conditional Learning for Tunable Trade-Off between Accuracy and Robustness [11.35810118757863]
  クリーンかつ逆摂動画像上でのSOTA(State-of-the-art)性能を実現する既存のモデルは、FiLM(Feature-wise linear modulation)層を条件とした畳み込み操作に依存している。 既存のFiLMベースの条件付けの代わりに、付加層を必要としない独特な重み付き学習を行うFLOATアルゴリズムを提案する。 特に、重みテンソルにスケールドノイズを加え、クリーンな性能と対向的な性能のトレードオフを可能にする。
  論文  参考訳（メタデータ） (2022-03-28T19:25:36Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。