論文の概要: Sonar-MoE: In-Backward Expert Updates for Memory-Efficient Mixture-of-Experts Training

• arxiv url: http://arxiv.org/abs/2611.03577v2
• Date: Thu, 05 Nov 2026 12:37:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.337506
• Title: Sonar-MoE: In-Backward Expert Updates for Memory-Efficient Mixture-of-Experts Training
• Title（参考訳）: Sonar-MoE: メモリ効率の良いMixture-of-Expertsトレーニングのエキスパートアップデート
• Abstract要約: Sonar-MoEは後方通過中に各専門家テンソルを更新し、すぐに勾配を解放する。 Sonar-MoEマッチは、高密度パラメータをクリップしながら、メモリとスピードの全てのパラメータに対して後方に導入する。 各ステップは、グローバルノームクリッピングによる標準トレーニングよりも17%から23%の時間を要する。
• 参考スコア（独自算出の注目度）: 43.72632076158987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most parameters of a Mixture-of-Experts (MoE) model belong to its experts, and standard training keeps every expert gradient in GPU memory until the optimizer step. This memory grows with the number and size of the experts, so it rises as MoE models scale. We introduce Sonar-MoE, which updates each expert tensor during the backward pass and frees its gradient right away. It brings optimizer-in-backward from dense models to batched MoE expert tensors, so the GPU never holds more than one layer of expert gradients. When we fine-tune OLMoE-1B-7B and Granite-3.1-3B-A800M in bf16 with two expert-kernel backends, Sonar-MoE lowers peak memory by 19% to 22%. Its updates are bitwise identical to standard training without expert gradient clipping, and held-out loss stays within 0.003 of all baselines. Each step also takes 17% to 23% less time than standard training with global-norm clipping. Updating whole batched tensors rather than individual experts is what keeps Sonar-MoE fast, as it avoids a 20% to 72% slowdown while using the same memory. Sonar-MoE matches optimizer-in-backward over all parameters in memory and speed while still clipping the dense parameters.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルのほとんどのパラメータはエキスパートに属しており、標準トレーニングでは、オプティマイザステップまで、GPUメモリのすべてのエキスパート勾配を維持している。 このメモリは専門家の数とサイズとともに増大するので、MoEモデルがスケールするにつれて増大する。 後方通過中に各エキスパートテンソルを更新し、すぐに勾配を解放するSonar-MoEを紹介する。 これは、高密度モデルからバッチ化したMoEエキスパートテンソルへのバックワード最適化をもたらすため、GPUが複数の専門家勾配を保持することはない。 2つの専門家カーネルバックエンドを持つbf16でOLMoE-1B-7BとGranite-3.1-3B-A800Mを微調整すると、Sonar-MoEはピークメモリを19%から22%下げる。 そのアップデートは、エキスパートのグラディショナルクリッピングなしでの標準的なトレーニングとビット単位で同一であり、ホールドアウトロスはすべてのベースラインの0.003以内に留まる。 各ステップは、グローバルノームクリッピングによる標準トレーニングよりも17%から23%の時間を要する。 個々の専門家ではなく、バッチテンソル全体を更新することで、Sonar-MoEを高速に保ち、同じメモリを使用する場合、20%から72%のスローダウンを回避することができる。 Sonar-MoEは、高密度パラメータをクリップしながら、メモリとスピードの全てのパラメータに対してオプティマイザを後方にマッチさせる。

関連論文リスト

• Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
  本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。 さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
  論文  参考訳（メタデータ） (2026-07-02T08:06:57Z)
• Temporally Extended Mixture-of-Experts Models [6.07059176899521]
  Mixture-of-Expertsモデルは、一定の推論速度でキャパシティをスケーリングするのに人気がある。 モデルが利用可能なGPUメモリを上回ると、このチャーンはオフロードやプレフェッチといった最適化を非効率にレンダリングすることができる。 我々は、強化学習におけるオプションフレームワークがこの問題に取り組むのに最適であり、時間的に拡張された熟練層について論じる。
  論文  参考訳（メタデータ） (2026-04-22T03:50:52Z)
• MELINOE: Fine-Tuning Enables Memory-Efficient Inference for Mixture-of-Experts Models [13.907916161242794]
  Mixture-of-Experts (MoE)モデルアーキテクチャはトークン当たりのアクティベートパラメータの数を著しく削減することができる。 彼らの全体的なパラメータ数とモデルサイズは、リソース制約された設定で広く使用されるのを妨げている。 MELINOE(MelinoE)は、MoEモデルを微調整し、より強く、配列ごとに少数の専門家を活性化する手法である。
  論文  参考訳（メタデータ） (2026-01-30T14:40:18Z)
• SonicMoE: Accelerating MoE with IO and Tile-aware Optimizations [54.303301888915406]
  混合エキスパートモデル(MoE)は、計算コストを大幅に増加させることなく、言語モデルをスケールアップするためのデファクトアーキテクチャとして登場した。 最小のアクティベーションキャッシングでMoEの前後パスを計算するメモリ効率のアルゴリズムを提案する。 また,グループ化されたGEMMカーネルのパディングによる無駄計算を最小限に抑える新しい「トークンラウンドリング」手法を提案する。
  論文  参考訳（メタデータ） (2025-12-16T04:39:10Z)
• SYMI: Efficient Mixture-of-Experts Training via Model and Optimizer State Decoupling [1.2777855412373709]
  Mixture-of-Experts (MoE)モデルは、計算の線形増加を伴わずに、モデルサイズを拡大し続けるために広く採用されているソリューションとなっている。 現在のシステムでは、人気のある専門家に割り当てられたトークンをドロップするか、収束を低下させるか、あるいは人気に基づいて各専門家に割り当てられたリソースを頻繁に再バランスさせなければならない。 適応型MOEトレーニングシステムであるSYMIを紹介する。
  論文  参考訳（メタデータ） (2025-04-28T15:58:55Z)
• APOLLO: SGD-like Memory, AdamW-level Performance [61.53444035835778]
  大規模言語モデル(LLM)は、トレーニング中にメモリ集約的であることで知られている。 メモリ使用量を減らすために、様々なメモリ効率のScalが提案されている。 i)コストのかかるSVDオペレーション、(ii)AdamWと比較して大きなパフォーマンストレードオフ、(iii)競争性能を維持する上でのメモリオーバーヘッド、などです。
  論文  参考訳（メタデータ） (2024-12-06T18:55:34Z)
• Condense, Don't Just Prune: Enhancing Efficiency and Performance in MoE Layer Pruning [26.945473092961123]
  本研究では,大小のMoE層をより小さく,より密度の高い層に縮合するConDense-MoEを提案する。 当社のアプローチは,Feed-Forward Networksを多数の小さなエキスパートに分割する,共有専門家による詳細なMoEのために特別に設計されています。
  論文  参考訳（メタデータ） (2024-11-26T00:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。