論文の概要: FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment

• arxiv url: http://arxiv.org/abs/2512.23070v1
• Date: Sun, 28 Dec 2025 20:32:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.351135
• Title: FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment
• Title（参考訳）: FLEX-MoE: 負荷バランスのエキスパートアサインメントを備えたFederated Mixture-of-Experts
• Authors: Boyang Zhang, Xiaobing Chen, Songyang Zhang, Shuai Zhang, Xiangwei Zhou, Mingxuan Sun,
• Abstract要約: Mixture-of-Experts (MoE)モデルは条件付き計算によってスケーラブルなニューラルネットワークを実現する。 このアプローチでは、トレーニングフィードバックを通じて、ローカルデータセットのエキスパート適合度を定量化する、クライアント-専門家適合度スコアを導入している。 3つの異なるデータセットに関する包括的実験により、提案したFLEX-MoEの優れた性能を示す。
• 参考スコア（独自算出の注目度）: 38.27527504479237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models enable scalable neural networks through conditional computation. However, their deployment with federated learning (FL) faces two critical challenges: 1) resource-constrained edge devices cannot store full expert sets, and 2) non-IID data distributions cause severe expert load imbalance that degrades model performance. To this end, we propose \textbf{FLEX-MoE}, a novel federated MoE framework that jointly optimizes expert assignment and load balancing under limited client capacity. Specifically, our approach introduces client-expert fitness scores that quantify the expert suitability for local datasets through training feedback, and employs an optimization-based algorithm to maximize client-expert specialization while enforcing balanced expert utilization system-wide. Unlike existing greedy methods that focus solely on personalization while ignoring load imbalance, our FLEX-MoE is capable of addressing the expert utilization skew, which is particularly severe in FL settings with heterogeneous data. Our comprehensive experiments on three different datasets demonstrate the superior performance of the proposed FLEX-MoE, together with its ability to maintain balanced expert utilization across diverse resource-constrained scenarios.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは条件付き計算によってスケーラブルなニューラルネットワークを実現する。 しかしながら、彼らのFL(Federated Learning)によるデプロイメントは、2つの重要な課題に直面している。 1)リソース制約されたエッジデバイスは、フルエキスパートセットを格納することができず、 2) 非IIDデータ分布は, モデル性能を低下させる, 厳しい専門家負荷の不均衡を引き起こす。 この目的のために,限られたクライアント容量で,専門家の割り当てと負荷分散を協調的に最適化する新しいMoEフレームワークである‘textbf{FLEX-MoE} を提案する。 具体的には、トレーニングフィードバックを通じて、ローカルデータセットのエキスパート適合度を定量化するクライアント-専門家適合度スコアを導入し、クライアント-専門家専門化を最大化するために、バランスの取れたエキスパート利用システム全体を拡張しながら、最適化ベースのアルゴリズムを用いる。 負荷不均衡を無視しながらパーソナライズのみにフォーカスする既存の欲求手法とは異なり、FLEX-MoEは不均一なデータを用いたFL設定において特に厳しい専門家利用スキューに対処できる。 3つの異なるデータセットに関する包括的な実験は、提案したFLEX-MoEの優れた性能を示し、多様なリソース制約シナリオをまたいだバランスの取れた専門家利用を維持する能力を示している。

関連論文リスト

• Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices [41.84571097603175]
  大規模言語モデル (LLM) のファインチューニングは, 膨大な計算量と参加者の資源制約のため, 困難である。 制約コンピューティングリソースの参加者間でMoEベースのLLMの微調整を可能にするシステムであるFLUXを提案する。 FLUXは既存の手法よりも優れており、時間と精度で最大4.75倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-08-26T14:39:00Z)
• FFT-MoE: Efficient Federated Fine-Tuning for Foundation Models via Large-scale Sparse MoE under Heterogeneous Edge [7.976167864455345]
  フェデレート・ラーニング(FL)はフェデレーション・ファイン・チューニング(FFT)を通じて魅力的なソリューションを提供する FFT MoE は LoRA を sparse Mixture of Experts (MoE) アダプタに置き換える新しい FFT フレームワークである。 MoEは、一般化性能とトレーニング効率において、アートFFTベースラインの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2025-08-26T04:09:18Z)
• FLAME: Towards Federated Fine-Tuning Large Language Models Through Adaptive SMoE [21.860699562235776]
  FLAMEは、Sparse Mixture-of-Experts (SMoE)アーキテクチャに基づく新しい連邦学習フレームワークである。 グローバルな(圧縮されていない)LoRA行列を保持し、クライアントごとにアクティベートされた専門家の数を変えることで、クライアント側の適応性を達成する。 軽量な再スケーリング機構とアクティベーション対応アグリゲーションスキームによって、これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-06-19T21:02:19Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts [63.67734699877724]
  MoE++は、Feed-Forward Network(FFN)とゼロ計算の専門家を統合した、汎用的で異種なMoEフレームワークである。 MoE++は、1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較すると、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2024-10-09T18:01:27Z)
• Learning to Specialize: Joint Gating-Expert Training for Adaptive MoEs in Decentralized Settings [41.98633628526484]
  Mixture-of-Experts (MoEs)は、コンポーネントのサブセットを動的に活性化することでスケーラビリティを実現する。 推論コストとデータヘテロジニティにより、ゲーティング関数と専門家の協調トレーニングがドメイン固有の専門知識を割り当てる方法について検討する。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。