論文の概要: Compute-Optimal Is Not Cluster-Optimal: Systems-Aware Scaling for Sparse Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2608.10605v1
• Date: Tue, 11 Aug 2026 07:49:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.952273
• Title: Compute-Optimal Is Not Cluster-Optimal: Systems-Aware Scaling for Sparse Mixture-of-Experts
• Title（参考訳）: Compute-Optimalはクラスタ最適化ではない:スパース・ミックス・オブ・エクササイズのためのシステム・アウェア・スケーリング
• Abstract要約: モデルアーキテクチャとシステムの共同設計を定式化したMOSAICを開発した。 スパースMixture-of-Experts(MoE)言語モデルのためのフレームワークをインスタンス化する。 キャリブレーションされた空間範囲内において,効率非依存のモデルFLOPs予算は内部最適空間を許容しないことを示す。
• 参考スコア（独自算出の注目度）: 13.835014453826057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In large-scale pretraining, the algorithm, architecture, and systems decisions are conventionally made in disconnected stages. A scaling law stage selects an architecture and training recipe, optimizing loss under compute constraints, and a separate systems stage then optimizes the implementation for hardware efficiency. In this work, we develop MOSAIC, which formulates model architecture and systems co-design as an optimization problem. MOSAIC couples a predictive scaling law with a calibrated performance model that estimates Model FLOPs Utilization (MFU), communication cost, memory footprint, and the best parallel layout. We instantiate the framework for sparse Mixture-of-Experts (MoE) language models, where expert count, routing sparsity, and other MoE layer dimensions affect both the loss and systems efficiency. We fit a scaling law on sparse MoE models trained on text data, whose scaling dimensions include the sparsity factor, which is the fraction of model parameters inactive per token in a forward pass. The scaling law sweeps in our work span active parameters from $104$ million to $2.7$ billion and total model sizes reaching $79$ billion parameters. We show that, within the calibrated sparsity range, an efficiency-agnostic model-FLOPs budget admits no interior optimal sparsity. The fitted loss decreases monotonically with sparser models and the compute optimum lies at the upper boundary of the data support. An optimal sparsity in MoE models instead emerges under the cluster's systems constraints, as captured by MOSAIC. Our results argue for a shift towards unified architecture and systems co-design for frontier language model training.
• Abstract（参考訳）: 大規模な事前訓練では、アルゴリズム、アーキテクチャ、システム決定は従来、切断された段階で行われてきた。 スケーリング法則段階はアーキテクチャとトレーニングのレシピを選択し、計算制約下での損失を最適化し、別のシステム段階はハードウェア効率のために実装を最適化する。 本研究では,モデルアーキテクチャとシステムの共同設計を最適化問題として定式化するMOSAICを開発する。 MOSAICは、MFU(Model FLOPs utilization)、通信コスト、メモリフットプリント、最高の並列レイアウトを推定するキャリブレーションされたパフォーマンスモデルと予測スケーリングの法則を結合する。 我々は、専門家のカウント、ルーティングのスパーシティ、その他のMoE層次元が損失とシステムの効率に影響を及ぼすような、Mixture-of-Experts(MoE)言語モデルのためのフレームワークをインスタンス化する。 我々は、テキストデータに基づいてトレーニングされたスパースMOEモデルにスケーリングの法則を適合させ、そのスケーリングのディメンションには、フォワードパスにおけるトークン毎に非アクティブなモデルのパラメータの分数であるスパース係数が含まれる。 私たちの仕事におけるスケーリング法則は、アクティブパラメータを104億ドルから27億ドルに拡大し、総モデルサイズは79億ドルにまで達します。 キャリブレーションされた空間範囲内において,効率非依存のモデルFLOPs予算は内部最適空間を許容しないことを示す。 適合損失はスペーサーモデルと単調に減少し、計算の最適値はデータサポートの上界に位置する。 MOSAICが捉えたように、MoEモデルの最適間隔はクラスタのシステム制約の下に現れる。 我々の結果は、フロンティア言語モデルトレーニングのための統合アーキテクチャとシステムの共同設計への移行を主張する。

関連論文リスト

• Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts [2.2554080765044717]
  Mixture-of-Experts (MoE)アーキテクチャは、計算コストの比例的に増加することなく、モデル容量を大幅に拡張する。 大規模MOEモデルの学習に最適な学習率を推定する計算効率の高い2段階のハイパーパラメータ転送フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-20T13:57:43Z)
• Variable-Width Transformers [57.07167443557886]
  本稿では,$times$-shaped > former architectureを提案する。 我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。 平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:03Z)
• A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models [9.31160191200499]
  エッジデバイス上の大規模言語モデル(LLM)は、計算とメモリの厳しい制約に直面している。 量子化誘起劣化に最も敏感なハイブリッドSSM-トランスフォーマーコンポーネントを同定するための,軽量でバックプロパゲーションフリーなサロゲート型感度分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-15T03:40:30Z)
• Holistic Scaling Laws for Optimal Mixture-of-Experts Architecture Optimization [19.86300998075755]
  本稿では,全体的MoEアーキテクチャ最適化のための再利用可能なフレームワークを提案する。 まず、トークン当たりのFLOPsはMoEモデルにとって不適切な公平度指標であることを示す。 次に、16次元のアーキテクチャ探索空間を2つの連続的な低次元位相に縮小する。 我々のフレームワークは、あらゆる計算予算を完全な最適化されたMoEアーキテクチャにマッピングする堅牢なスケーリング法則を生み出します。
  論文  参考訳（メタデータ） (2026-03-23T11:51:35Z)
• Towards a Comprehensive Scaling Law of Mixture-of-Experts [54.117786590884776]
  本論文では,すべての重要な要因を考慮に入れた総合的かつ正確なMoEスケーリング法を提案する。 我々の結果は、$G$と$S$の最適設定が、モデルアーキテクチャとデータサイズの両方に依存しないことを示しています。 提案したMoEスケーリング法則は,将来のMoEモデル設計およびトレーニングを促進するための,正確かつ洞察に富んだガイダンスとして機能する可能性がある。
  論文  参考訳（メタデータ） (2025-09-28T06:35:34Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws [21.053622641336744]
  ロス・ツー・ロスのスケーリング法則は、事前トレーニングされたデータセットと下流タスク間の損失を関連付ける。 実験の結果,事前学習データとトークン化器がスケーリングの傾向を決定することがわかった。
  論文  参考訳（メタデータ） (2025-02-17T18:45:25Z)
• MoE-CAP: Benchmarking Cost, Accuracy and Performance of Sparse Mixture-of-Experts Systems [28.646823134800332]
  MoEアーキテクチャは、LLM(Large Language Models)を効率的にスケーリングするためにますます好まれている。 既存のベンチマークは、これらのトレードオフを正確に捉えることができないことが多い。 我々は,MoEシステム用に特別に設計されたベンチマークであるMoE-CAPを紹介する。
  論文  参考訳（メタデータ） (2024-12-10T00:19:28Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。