論文の概要: Small LLMs: Pruning vs. Training from Scratch

• arxiv url: http://arxiv.org/abs/2606.14150v1
• Date: Fri, 12 Jun 2026 06:24:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.770578
• Title: Small LLMs: Pruning vs. Training from Scratch
• Title（参考訳）: 小さなLSM: Scratchからのトレーニングの打ち切り
• Authors: Yufeng Xu, Taiming Lu, Kunjun Li, Jiachen Zhu, Mingjie Sun, Zhuang Liu,
• Abstract要約: Pruningは、強力な小さな言語モデルへのショートカットを約束する。 本研究では,Llama-3.1-8Bを0.5-0.8のプルーニング比で,深さ,幅,スパース粒度にまたがる6つの方法を用いてプルーニングすることで,この可能性を検証した。
• 参考スコア（独自算出の注目度）: 16.783105563060985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning promises a shortcut to strong small language models. In this work, we examine this promise by pruning Llama-3.1-8B at pruning ratios of 0.5--0.8 with six methods spanning depth, width, and sparse granularities, under two controlled token-matched settings. (1) With the same training token budget, pruned initialization consistently outperforms random initialization. This shows that the parent model provides a strong starting point, although the advantage narrows as the training token budget grows and as the pruning ratio rises, nearly vanishing at the highest pruning ratio we study. (2) When training from scratch is instead given the full token budget consumed by the whole pipeline, pruning at finer granularities still retains an advantage, while coarser structured pruning can be matched or surpassed. This suggests that the parent model transfers knowledge that additional training tokens alone cannot fully recover, but only at fine granularity. Taken together, our results yield a clear recommendation: with a large pretrained model in hand and a limited training token budget, pruning is better than training from scratch; when the training budget is not limited, training from scratch can be competitive for coarser pruning, so a large pretrained parent is not always necessary.
• Abstract（参考訳）: Pruningは、強力な小さな言語モデルへのショートカットを約束する。 本研究では, Llama-3.1-8Bを0.5-0.8のプルーニング比で, 深さ, 幅, スパース粒度を2つの制御されたトークンマッチング条件下で解析する。 1)トレーニングトークンの予算が同じである場合,プルーンド初期化はランダム初期化よりも一貫して優れる。 このことから,親モデルでは,トレーニングトークンの予算が増加し,プルーニング比率が上昇するにつれて,最も高いプルーニング率でほぼ消滅する一方で,強みが狭まることが示唆された。 2) スクラッチからトレーニングを行う場合, パイプライン全体で消費される全トークン予算が与えられた場合, より粒度の高いプルーニングは依然として有利であり, 粗い構造化プルーニングは一致あるいは超える。 これは、親モデルが、追加のトレーニングトークンだけでは完全に回復できないが、細かい粒度でしか回復できないという知識を伝達していることを示唆している。 トレーニング予算が制限されない場合、スクラッチからのトレーニングは粗いプルーニングと競合する可能性があるため、大きな事前訓練された親は必ずしも必要ではない。

関連論文リスト

• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages [51.86479668480496]
  私たちは、現在のLLMトレーニングパイプラインの、成長を続ける多くのステージに対して、どのようにより効率的にスケールするかという問題に取り組みます。 オフライン報酬条件強化学習に触発されたイントロスペクティブトレーニング(IXT)を提案する。 IXTは思考報酬モデルを使用して、自然言語の批判に基づくフィードバックでデータを注釈付けし、パイプラインの初期段階から品質に配慮したトレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-05-19T06:04:08Z)
• Recycling Pretrained Checkpoints: Orthogonal Growth of Mixture-of-Experts for Efficient Large Language Model Pre-Training [70.60554423630803]
  パラメータ数を拡大し,継続訓練を行うことで,事前学習したチェックポイントを再利用することを提案する。 70Bパラメータと1T以上のトレーニングトークンを持つモデルにアプローチを拡大し、スクラッチからトレーニングよりも10.66%の精度向上を実現しています。
  論文  参考訳（メタデータ） (2025-10-09T09:45:45Z)
• The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws [51.608402959163925]
  本稿では,大規模言語モデルに対する最適スパース事前学習構成の体系的検討を行う。 総トレーニング計算の25%でプルーニングを開始し、75%で終了すると、ほぼ最適の最終評価損失が得られることがわかった。 本稿では,事前学習よりも平均パラメータ数を使用するように,チンチラスケーリング法を修正した新しいスケーリング法を提案する。
  論文  参考訳（メタデータ） (2025-01-21T20:23:22Z)
• Accurate Retraining-free Pruning for Pretrained Encoder-based Language Models [11.774574001020742]
  K-pruneは、事前訓練されたエンコーダベースの言語モデルのための、正確な再学習不要な構造化プルーニングアルゴリズムである。 既存のリトレーニングフリープルーニングアルゴリズムと比較して、F1スコアは58.02%pに向上した。
  論文  参考訳（メタデータ） (2023-08-07T10:11:42Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• When to Prune? A Policy towards Early Structural Pruning [27.91996628143805]
  我々は,パフォーマンスを損なうことなく,できるだけ早期に訓練を行う政策を提案する。 我々の方法では、最先端のプルーニングに比べて1.4%の精度でトップ1の精度が向上し、GPUのトレーニングコストを2.4%削減する。
  論文  参考訳（メタデータ） (2021-10-22T18:39:22Z)
• One-Cycle Pruning: Pruning ConvNets Under a Tight Training Budget [0.0]
  ニューラルネットワークにおけるスパーシリティの導入は、パフォーマンスをほぼ無傷に保ちながら、その複雑さを軽減する効率的な方法である。 多くの場合、スパシティは3段階のパイプラインを使用して導入されます。1)モデルを収束させるためにトレーニングし、2)いくつかの基準に従ってモデルをプーンし、3)プルーニングされたモデルを微調整してパフォーマンスを回復します。 本研究では,パイプラインの最初のステップを廃止し,他の2ステップを1回のプルーニングトレーニングサイクルで組み合わせることを提案する。
  論文  参考訳（メタデータ） (2021-07-05T15:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。