論文の概要: Dense vs Sparse Pretraining at Tiny Scale: Active-Parameter vs Total-Parameter Matching

• arxiv url: http://arxiv.org/abs/2605.13769v1
• Date: Wed, 13 May 2026 16:48:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.189004
• Title: Dense vs Sparse Pretraining at Tiny Scale: Active-Parameter vs Total-Parameter Matching
• Title（参考訳）: Tiny ScaleにおけるDense vs Sparse Pretraining: Active-Parameter vs Total-Parameter Matching
• Authors: Abdalrahman Wael,
• Abstract要約: 我々は,LLaMA方式のデコーダ学習法を用いて,小規模プレトレーニング体制下での高密度および高密度の混合変圧器について検討した。 我々の最高のスパースレシピは、トップ2ルーティング、スイッチスタイルのロードバランシング、ルータzロスの4つのエキスパートを使います。 トレーニング全体を通して、マッチしたアクティブなアドバンテージが増加し、マッチした総合的なアドバンテージが急激に狭まる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study dense and mixture-of-experts (MoE) transformers in a tiny-scale pretraining regime under a shared LLaMA-style decoder training recipe. The sparse model replaces dense feed-forward blocks with Mixtral-style routed experts. Dense baselines are modestly width-resized to tightly match either active or total parameter budgets, while tokenizer, data, optimizer, schedule, depth, context length, normalization style, and evaluation protocol are held fixed. Our best sparse recipe uses four experts, top-2 routing, Switch-style load balancing, and router z-loss. In a three-seed full-data comparison, the dense active-match model reaches 1.6545 +/- 0.0012 best validation loss, the MoE reaches 1.5788 +/- 0.0020, and the dense total-match model reaches 1.5608 +/- 0.0025. This yields a matched-active gap of 0.0758 +/- 0.0021 in the MoE's favor and a matched-total gap of 0.0180 +/- 0.0020 in the dense model's favor. Across training, the matched-active advantage grows while the matched-total dense advantage narrows sharply. In this sub-25M-parameter regime, MoE therefore improves validation loss under active-parameter matching but does not surpass dense training at equal total stored capacity.
• Abstract（参考訳）: 我々は,LLaMA方式のデコーダ学習法を用いて,小型プレトレーニング体制下での高密度・混合型(MoE)変圧器について検討した。 スパースモデルは、密集したフィードフォワードブロックをMixtralスタイルのルーティング専門家に置き換える。 濃厚なベースラインは、アクティブパラメータの予算と全パラメータの予算とを厳密に一致させるために、適度に幅を縮小し、トークンー、データ、オプティマイザ、スケジュール、深さ、コンテキスト長、正規化スタイル、評価プロトコルを固定する。 我々の最高のスパースレシピは、トップ2ルーティング、スイッチスタイルのロードバランシング、ルータzロスの4つのエキスパートを使います。 3シードのフルデータ比較では、高密度なアクティブマッチモデルは1.6545 +/- 0.0012のバリデーション損失、MoEは1.5788 +/- 0.0020、高密度なトータルマッチモデルは1.5608 +/- 0.0025に達する。 これにより、MoEの好ましくは0.0758 +/- 0.0021、高密度モデルの好ましくは0.0180 +/- 0.0020となる。 トレーニング全体を通して、マッチしたアクティブなアドバンテージが増加し、マッチした総合的なアドバンテージが急激に狭まる。 この25M以下のパラメータでは、MoEはアクティブパラメータマッチングによるバリデーション損失を改善するが、同じ全記憶容量での密度トレーニングを超えない。

関連論文リスト

• BoostLoRA: Growing Effective Rank by Boosting Adapters [3.022272657109967]
  BoostLoRAは、最小限のアダプタを反復的にトレーニングしマージすることで制限を克服するグラデーションブースティングフレームワークである。 本手法は, 実効的ランクがトレーニングによって増大する最初のPEFT法であり, ラウンドごとのパラメータコストと総表現能力とを分離する。
  論文  参考訳（メタデータ） (2026-04-30T01:43:00Z)
• DreamPRM-1.5: Unlocking the Potential of Each Instance for Multimodal Process Reward Model Training [28.02129783121819]
  DreamPRM-1.5は、インスタンスレベルの再重み付けフレームワークで、双方向の最適化を通じて、トレーニング例毎に適応的な重み付けを割り当てる。 MMMU検証セットで84.6の精度、R-Bench-Vで31.3の精度を実現し、リードバックボーンと組み合わせると、公開マルチモーダル推論リーダーボードで1位の結果が得られる。
  論文  参考訳（メタデータ） (2025-09-05T23:42:01Z)
• Fantastic Pretraining Optimizers and Where to Find Them [59.56075036649332]
  AdamWは長い間、言語モデルの事前訓練において支配的な勾配だった。 行列ベースの行列の高速化はモデルスケールに逆比例する。
  論文  参考訳（メタデータ） (2025-09-02T07:43:22Z)
• Prototype Training with Dual Pseudo-Inverse and Optimized Hidden Activations [0.14504054468850663]
  Proto-PINV+Hは、閉形式重み計算と少数の合成入力の最適化を組み合わせた高速な訓練パラダイムである。 MNIST(60k列車、10kテスト)とFashion-MNIST(60k列車、10kテスト)では、公式の10kテストセットでそれぞれ97.8%、89.3%のテスト精度に達した。
  論文  参考訳（メタデータ） (2025-08-13T13:13:32Z)
• Continual Pre-training of MoEs: How robust is your router? [31.784662011106196]
  Mixture of Experts (MoE) トランスフォーマーは、基礎モデルのための有望なアーキテクチャである。 MoEは、トレーニング時のサンプル効率の改善と、より強力なパフォーマンスの恩恵を受ける。 完全再学習したMoEの性能を,MoEのコストのごく一部で一致させることができることを示す。
  論文  参考訳（メタデータ） (2025-03-06T22:55:01Z)
• Aioli: A Unified Optimization Framework for Language Model Data Mixing [74.50480703834508]
  提案手法は, 単層サンプリングベースラインを平均的なテストパープレキシティで一貫した性能を発揮できないことを示す。 我々は、Aioliという新しいオンライン手法を導き、トレーニング全体を通して法パラメータの混合を直接推定し、それらを用いて比率を動的に調整する。
  論文  参考訳（メタデータ） (2024-11-08T17:50:24Z)
• RegMix: Data Mixture as Regression for Language Model Pre-training [40.45464495981735]
  本稿では,レグレッションタスクとして定式化することで,ハイパフォーマンスなデータ混合物を自動的に識別するRegMixを提案する。 RegMixは、様々なデータ混合物で多くの小さなモデルを訓練し、回帰を使って目に見えない混合物のパフォーマンスを予測し、予測された最良の混合を適用して、桁違いの計算量で大規模モデルを訓練する。
  論文  参考訳（メタデータ） (2024-07-01T17:31:03Z)
• SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors [80.6043267994434]
  既存の手法と根本的に異なる単純なアプローチであるSVFTを提案する。 SVFTは特異ベクトルの外積のスパース結合として(W)を更新し、これらのスパース結合の係数(スケール)のみを訓練する。 言語とビジョンベンチマークの実験では、SVFTは完全な微調整性能の96%を回復し、パラメータの0.006から0.25%しかトレーニングしていない。
  論文  参考訳（メタデータ） (2024-05-30T01:27:43Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。