Fugu-MT 論文翻訳(概要): Training Communication-Efficient Mixture-of-Experts Language Models with Layer Re-Configuration

論文の概要: Training Communication-Efficient Mixture-of-Experts Language Models with Layer Re-Configuration

arxiv url: http://arxiv.org/abs/2608.28511v1
Date: Fri, 28 Aug 2026 16:44:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.413651
Title: Training Communication-Efficient Mixture-of-Experts Language Models with Layer Re-Configuration
Title（参考訳）: 層再構成による通信効率の良い混合言語モデルの訓練
Abstract要約: 通信効率MoEモデル(CE-MoE) トークンミキシングとチャネルミキシングの深さを分離する異種層パターンを採用する。 31.5Bスケールでは、CE-MoEは平均ダウンストリームスコアと推論スループットを改善しながら、GPU時間を33.3%削減している。
参考スコア（独自算出の注目度）: 13.010351659575297
License: http://creativecommons.org/licenses/by/4.0/
Abstract: When training Mixture-of-Experts (MoE) language models with expert parallelism, all-to-all token dispatch and combine collectives can consume a substantial fraction of end-to-end training time. In this work, we study communication-efficient MoE models (CE-MoE), in which we adopt a heterogeneous layer pattern that decouples token-mixing and channel-mixing depth. Compared to conventional models which interleave MoE layers after each token-mixing layer (e.g., attention, Mamba-2), CE-MoE models concentrate expert capacity in a select few routed MoE layers, while maintaining depth by adding additional token-mixing and dense-FFN layers. Across a scaling ladder from 2B to 31.5B total parameters, under matched total and activated parameters, CE-MoE models consistently reduce training cost while matching validation loss and downstream benchmarks with full-MoE baselines. At the 31.5B scale, CE-MoE uses 33.3\% fewer GPU-hours while improving average downstream score and inference throughput.
Abstract（参考訳）: 専門家の並列性を備えたMixture-of-Experts(MoE)言語モデルをトレーニングする場合、すべてのトークンディスパッチと集合体の組み合わせは、エンドツーエンドのトレーニング時間の大部分を消費することができる。本研究では,トークンミキシングとチャネルミキシング深度を分離するヘテロジニアス層パターンを用いた通信効率MoEモデル (CE-MoE) について検討する。各トークン混合層(例えば、Mamba-2)の後、MoE層をインターリーブする従来のモデルと比較して、CE-MoEモデルは、いくつかのルーティングされたMoE層に専門家容量を集中させ、さらにトークン混合層と高密度FFN層を追加して深度を維持する。 2Bから31.5Bまでのスケールラグで、全パラメータとアクティベートパラメータが一致し、CE-MoEモデルはトレーニングコストを一貫して削減し、バリデーション損失とフルMoEベースラインのダウンストリームベンチマークをマッチングする。 31.5Bスケールでは、CE-MoEは平均ダウンストリームスコアと推論スループットを改善しながら、GPU時間を33.3\%削減している。

関連論文リスト

MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models [55.732137666068446]
ユニバーサルマルチモーダル埋め込み(UME)は、幅広いタスクやモダリティを扱うエンコーダの能力をますます要求している。 MoEMBがエキスパート軸に沿ってUMEをスケールする MoEMBはTTEベースのメソッドを4倍のアクティブパラメータで上回り、計算量は大幅に少ない。
論文参考訳（メタデータ） (2026-09-08T12:29:50Z)
Instella-MoE Technical Report [22.767094992305257]
Instella-MoEはMixture-of-Experts(MoE)言語モデルで、16億の総パラメータと280億のアクティブパラメータを持つ。 Instella-MoEはAMD Instinct MI300XとMI325Xのグラフィックカードで完全にスクラッチから訓練されている。
論文参考訳（メタデータ） (2026-09-01T06:38:17Z)
LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。 23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
論文参考訳（メタデータ） (2026-08-04T10:53:02Z)
MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
論文参考訳（メタデータ） (2025-11-19T18:48:27Z)
HierMoE: Accelerating MoE Training with Hierarchical Token Deduplication and Expert Swap [17.1806530983927]
大規模言語モデル(LLM)のトレーニングを2つのトポロジ対応技術で高速化するためにHierMoEを導入する。プロトタイプのHierMoEは、1.55times$から3.32times$高速通信を実現し、1.18times$から1.27times$高速エンドツーエンドトレーニングを実現しています。
論文参考訳（メタデータ） (2025-08-13T08:16:31Z)
FSMoE: A Flexible and Scalable Training System for Sparse Mixture-of-Experts Models [21.96960353910023]
3つの新しい手法でタスクスケジューリングを最適化するフレキシブルなトレーニングシステムFSMoEを紹介する。我々は、2つのGPUクラスタ上で、構成されたMoE層と実世界のMoEモデルで広範な実験を行う。 FSMoEは4種類のMoEルーティング機能をサポートしており、既存の実装よりも効率的である。
論文参考訳（メタデータ） (2025-01-18T10:14:37Z)
Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models [62.4691912312317]
Mixture-of-Experts (MoE)言語モデルは、性能を犠牲にすることなく、高密度モデルと比較して計算コストを2～4ドル削減することができる。本稿では,強力な計算とパラメータ効率を実現するMOEモデル(DS-MoE)のためのハイブリッド密集型トレーニングおよびスパース推論フレームワークを提案する。
論文参考訳（メタデータ） (2024-04-08T14:39:49Z)
LocMoE: A Low-Overhead MoE for Large Language Model Training [13.153904674287546]
本稿では,部分的なノード間通信をノード内通信に変換することで,負荷バランスと局所性を組み合わせた新しいルーティング手法を提案する。提案されたLocMoEは、古典的なルータと比較して、エポックあたりのトレーニング時間を12.68%削減して22.24%に短縮した。
論文参考訳（メタデータ） (2024-01-25T03:36:39Z)
Mixture of Tokens: Continuous MoE through Cross-Example Aggregation [0.7880651741080428]
エキスパートの混合(MoE)モデルは、言語とビジョンタスクの境界を押し広げています。 MoTは単純で連続的なアーキテクチャであり、スパースMoEモデルと同様にパラメータの数をスケーリングすることができる。我々の最良のモデルは、言語事前学習における高密度トランスフォーマーモデルよりも3倍のトレーニング速度を達成する。
論文参考訳（メタデータ） (2023-10-24T16:03:57Z)
Pipeline MoE: A Flexible MoE Implementation with Pipeline Parallelism [91.9372563527801]
既存のMoEモデルは、膨大な内部ノードとノード間通信オーバーヘッドに悩まされる。本稿では,新しいMoEアーキテクチャであるPipeline MoE(PPMoE)を提案する。 PPMoEは、テンソル並列を組み込んだ専門家の並列処理を構築し、通信集約型の全対一のディスパッチとコレクションを置き換える。
論文参考訳（メタデータ） (2023-04-22T14:09:14Z)
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文参考訳（メタデータ） (2022-12-01T17:31:42Z)
Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。