論文の概要: When Data Is Scarce: Scaling Sparse Language Models with Repeated Training
- arxiv url: http://arxiv.org/abs/2606.01155v1
- Date: Sun, 31 May 2026 10:51:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.286058
- Title: When Data Is Scarce: Scaling Sparse Language Models with Repeated Training
- Title（参考訳）: データが不足する時 - 反復トレーニングによるスパース言語モデルのスケーリング
- Abstract要約: 限られたユニークなトークンがマルチエポックなトレーニングを必要とするデータ制約型レシエーションにおけるスパーストレーニングについて検討する。
スパーシリティは単に効率のツールではなく、データ不足下でのトレードオフのスケーリングを改善するためのメカニズムである、ということに気付きました。
- 参考スコア（独自算出の注目度）: 38.73262288439019
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scaling laws for dense LLMs under infinite data are well explored, but how sparsity interacts with limited data is not. In this work, we study sparse training in data-constrained regimes where limited unique tokens require multi-epoch training. Our experiments span models up to 1.92B parameters in the fitting set, sparsity up to 93.75%, unique data budgets up to 2.6B tokens, and total training tokens up to 41.6B over 16 epochs; we further validate extrapolation on held-out dense-equivalent models up to 7.68B parameters. We find that: 1. Sparse scaling in data-limited settings: We introduce a scaling law that models loss as a function of active parameters, unique tokens, data repetition, and sparsity, accurately predicting performance across compute and data budgets. 2. Delayed data saturation: sparse training postpones diminishing returns from repeated data, making multi-epoch training more effective. 3. Resource trade-offs: With fixed data, loss-optimal sparsity is moderate ~ 50%, while compute-optimal sparsity is higher and grows with data scale. Overall, sparsity is not just a tool for efficiency, but a mechanism for improving scaling trade-offs under data scarcity. Our code is available at: https://github.com/boqian333/sparse-dc-scaling.
- Abstract（参考訳）: 無限データの下での高密度LLMのスケーリング法則はよく研究されているが、空間が限られたデータとどのように相互作用するかは明らかになっていない。
本研究では,限られたユニークなトークンがマルチエポックトレーニングを必要とするデータ制約型レシエーションにおけるスパーストレーニングについて検討する。
我々の実験は、フィッティングセット内の最大1.92Bパラメータ、最大93.75%、ユニークなデータ予算2.6Bトークン、および16のエポック上で41.6Bまでのトレーニングトークンにまたがる。
以下に示す。
1. データ制限設定でのスパーススケーリング: アクティブパラメータ、ユニークなトークン、データ繰り返し、スパーシティの関数として損失をモデル化し、計算とデータ予算間でのパフォーマンスを正確に予測するスケーリング法則を導入する。
2. 遅延データ飽和: スパーストレーニングポストポンは繰り返しデータからのリターンを減少させ、マルチエポックトレーニングをより効果的にする。
3. リソースのトレードオフ: 固定データの場合、損失-最適スパシティはおよそ50%、計算-最適スパシティはより高く、データスケールで成長する。
全体として、スパーシリティは単に効率のツールではなく、データ不足下でのトレードオフのスケーリングを改善するためのメカニズムである。
私たちのコードは、https://github.com/boqian333/sparse-dc-scalingで利用可能です。
関連論文リスト
- Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws [41.26396818761427]
正規化とスケーリングという2つの軸に沿ったデータ制約付き事前学習について検討した。
モデルサイズとデータサイズを結合して、繰り返しデータの下でのインタラクションをキャプチャするスケーリング法則であるSoftQを提案する。
論文 参考訳（メタデータ） (2026-06-05T04:10:09Z) - Quality over Quantity: An Effective Large-Scale Data Reduction Strategy Based on Pointwise V-Information [2.133855532092057]
我々は、ポイントワイドV情報(PVI)に基づく効果的なデータ削減戦略を提案する。
実験の結果、データの10%から30%が削除された場合、分類器の性能は0.0001%から0.76%の精度で維持されることがわかった。
我々は,これまで英語のデータセットに限られていたPVIフレームワークを,さまざまな自然言語処理(NLP)タスクやベースモデルに適用した。
論文 参考訳（メタデータ） (2025-06-19T06:59:19Z) - Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。
重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
論文 参考訳（メタデータ） (2023-09-15T16:29:27Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Scaling Data-Constrained Language Models [133.2083255645999]
データ制約付きシステムにおける言語モデルのスケーリングについて検討する。
固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。
本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
論文 参考訳（メタデータ） (2023-05-25T17:18:55Z) - Peeling the Onion: Hierarchical Reduction of Data Redundancy for
Efficient Vision Transformer Training [110.79400526706081]
ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。
従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。
本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-19T21:15:47Z) - Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
私たちはaを提案します。
Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。
多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
論文 参考訳（メタデータ） (2022-05-23T02:43:45Z) - Scaling Laws for Transfer [0.5432984841650929]
本研究では,教師なし微調整環境における分布間の移動学習のスケーリング法則について検討する。
提案手法は,パラメータ数と微調整データセットサイズに比例したパワーロー則を用いて,データ転送の効率をよく記述する。
論文 参考訳（メタデータ） (2021-02-02T04:07:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。