論文の概要: STAPLE: Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules

• arxiv url: http://arxiv.org/abs/2610.12599v1
• Date: Thu, 08 Oct 2026 18:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.246555
• Title: STAPLE: Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules
• Title（参考訳）: STAPLE: 埋め込みモジュールによる事前トレーニング済みチェックポイントの静的スパースアップサイクル
• Abstract要約: STAPLEは、静的スパースメモリを事前訓練されたモデルに統合するためのSTEM上に構築されたレシピである。 STAPLEは、HumanEvalで4.27点、MBPPで2.80点、GSM8Kで2.27点、DROPで1.65点の強化を受けた。 STAPLEはまた、STEMやEngramスタイルのモデルのような静的スパースベースラインよりも優れている。
• 参考スコア（独自算出の注目度）: 43.27154902130689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse computation can scale the parametric capacity of LLMs without proportionally increasing active computation, but pretraining sparse architectures remains expensive and data-hungry. Existing sparse upcycling methods mainly target Mixture-of-Experts models, where expert homogeneity, sample inefficiency, and system overheads can limit practical scalability. Static sparse memory offers predictable access and token-specific updates that can help address these challenges, but naively integrating it into pretrained computation yields poor returns. In this work, we introduce STAPLE, a recipe built upon STEM for integrating static sparse memory into pretrained models. Whereas STEM replaces FFN up-projections with token-indexed embeddings, STAPLE retains them and adds the embeddings as a residual pathway, preserving pretrained computation while learning complementary token-specific information in a scalable manner. On OLMo-2 1B, STAPLE improves over continued dense training by 4.27 points on HumanEval, 2.80 on MBPP, 2.27 on GSM8K, and 1.65 on DROP. Average performance increases with static capacity, and improvements persist on the larger OLMo-2 7B backbone. STAPLE also outperforms static sparse baselines such as STEM and an Engram-style model, and achieves a higher average score than an MoE upcycling baseline while decoding 2x faster with less than half its GPU model memory and measured GPU energy per token in our throughput-oriented decoding evaluation. Importantly, despite introducing billions of parameters late in training, our host-offloaded implementation keeps generation throughput within 1.5% and training throughput within 3% of the dense baseline, while caching only the ~5% most frequent embeddings on GPU. These results show that static sparse memory can provide a sample-efficient, scalable, and sustainable path for expanding pretrained models without sparse pretraining from scratch.
• Abstract（参考訳）: スパース計算は、比例的にアクティブな計算量を増やすことなく、LLMのパラメトリック容量をスケールすることができるが、スパースアーキテクチャの事前訓練は高価でデータ不足である。 既存のスパースアップサイクリング手法は主にMixture-of-Expertsモデルをターゲットにしており、エキスパートの均一性、サンプルの非効率性、システムのオーバーヘッドは実用的スケーラビリティを制限することができる。 静的スパースメモリは、これらの課題に対処する上で、予測可能なアクセスとトークン固有の更新を提供する。 本研究では,静的スパースメモリを事前学習モデルに統合するためのSTEMに基づくレシピであるSTAPLEを紹介する。 STEMはFFNのアッププロジェクションをトークンインデックスの埋め込みに置き換えるが、STAPLEはそれを保持し、その埋め込みを残留経路として追加し、補完的なトークン固有の情報をスケーラブルに学習しながら、事前訓練された計算を保存する。 OLMo-2 1Bでは、STAPLEはHumanEvalで4.27点、MBPPで2.80点、GSM8Kで2.27点、DROPで1.65点の強化を行った。 平均的なパフォーマンスは静的なキャパシティによって向上し、大きなOLMo-2 7Bバックボーンでは改善が継続される。 STAPLEはまた、STEMやEngramスタイルのモデルのような静的スパースベースラインよりも優れており、スループット指向のデコード評価において、GPUモデルメモリの半分未満で2倍高速にデコードし、トークン当たりのGPUエネルギーを測定しながら、MoEのアップサイクリングベースラインよりも高い平均スコアを達成する。 重要なのは、トレーニングの遅れに数十億のパラメータを導入したにも関わらず、ホストオフロードされた実装は、生成スループットを1.5%に保ち、トレーニングスループットを密度の高いベースラインの3%に保ちます。 これらの結果から,静的スパースメモリは,スクラッチからスパースを学習することなく,事前学習したモデルを拡張するための,サンプル効率,拡張性,持続的な経路を提供することが示された。

関連論文リスト

• Memory-Efficient LLM Training with Dynamic Sparsity: From Stability to Practical Scaling [38.73262288439019]
  ダイナミックスパーストレーニング(DST)は、ディープニューラルネットワークのトレーニングと推論効率を改善するための有望なパラダイムを提供する。 大規模な言語モデルトレーニングでは、DSTは最適化の不安定性に悩まされ、トポロジ更新後に損失が急増する。 本稿では、DSTをウォームアップで安定化し、密度認識学習率のスケーリングによるトレーニングの進捗を改善するSparse Memory-Efficient Training (SMET)を提案する。
  論文  参考訳（メタデータ） (2026-05-30T20:47:45Z)
• Sig2Model: A Boosting-Driven Model for Updatable Learned Indexes [6.133666849556217]
  Sig2Modelは効率的で適応的な学習指標であり、3つの主要な手法による再学習コストを最小限に抑える。 Sig2Modelは、トレーニングコストを最大20倍に削減し、最大3倍高いQPSを実現し、最大1000倍のメモリを使用する。
  論文  参考訳（メタデータ） (2025-09-25T06:07:13Z)
• DualSparse-MoE: Coordinating Tensor/Neuron-Level Sparsity with Expert Partition and Reconstruction [15.261077484922616]
  Mixture of Experts (MoE) はLarge Language Models (LLM) の主流アーキテクチャとなった。 トレーニング済みMoEモジュールにおけるテンソルとニューロンの二重間隔を精度と効率の両立の鍵因子として同定した。 本稿では,動的テンソルレベル低下と静的ニューロンレベル再構成を統合する推論システムであるDualSparse-MoEを提案する。
  論文  参考訳（メタデータ） (2025-08-25T18:08:32Z)
• Dynamic Gradient Sparse Update for Edge Training [0.0502254944841629]
  トレーニングにおけるバックプロパゲーションの勾配計算は、中間機能と計算損失を格納するために、大きなメモリバッファを必要とする。 これはマイクロコントローラのようなメモリ制限されたエッジデバイスでは受け入れられない。 本稿では,メモリ使用量を削減するために動的勾配スパース更新を用いたトレーニングアクセラレーション手法を提案する。
  論文  参考訳（メタデータ） (2025-03-23T06:32:12Z)
• Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
  継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。 本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。 モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Direct Quantized Training of Language Models with Stochastic Rounding [8.442358264368693]
  様々な大きさのLLaMA構造化モデルの実験結果から,3次値に制約された場合でも,低精度の重み付きトレーニングが実現可能であることが示唆された。 我々のモデルは、FP32から低メモリ環境に移行する際の性能劣化を最小限に抑えながら、精度のスケーリングとメモリ削減に頑健なままです。
  論文  参考訳（メタデータ） (2024-12-06T05:41:11Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。