論文の概要: HFedMoE: Resource-aware Heterogeneous Federated Learning with Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2601.00583v1
• Date: Fri, 02 Jan 2026 05:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.531619
• Title: HFedMoE: Resource-aware Heterogeneous Federated Learning with Mixture-of-Experts
• Title（参考訳）: HFedMoE:Mixture-of-Expertsによるリソースを意識した異種フェデレーション学習
• Authors: Zihan Fang, Zheng Lin, Senkang Hu, Yanan Ma, Yihang Tao, Yiqin Deng, Xianhao Chen, Yuguang Fang,
• Abstract要約: 我々は,HFedMoEを提案する。HFedMoEは不均一なMoEベースのFLファインチューニングフレームワークで,各クライアントに専門家のサブセットをカスタマイズする。 HFedMoEは、微調整パフォーマンスへの貢献に基づいて、専門家の重要性を特定している。 そして、情報ボトルネックの観点から専門家のサブセットを適応的に選択し、各クライアントのコンピューティング予算に適合させる。
• 参考スコア（独自算出の注目度）: 26.55877320740609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While federated learning (FL) enables fine-tuning of large language models (LLMs) without compromising data privacy, the substantial size of an LLM renders on-device training impractical for resource-constrained clients, such as mobile devices. Thus, Mixture-of-Experts (MoE) models have emerged as a computation-efficient solution, which activates only a sparse subset of experts during model training to reduce computing burden without sacrificing performance. Though integrating MoE into FL fine-tuning holds significant potential, it still encounters three key challenges: i) selecting appropriate experts for clients remains challenging due to the lack of a reliable metric to measure each expert's impact on local fine-tuning performance, ii) the heterogeneous computing resources across clients severely hinder MoE-based LLM fine-tuning, as dynamic expert activations across diverse input samples can overwhelm resource-constrained devices, and iii) client-specific expert subsets and routing preference undermine global aggregation, where misaligned expert updates and inconsistent gating networks in troduce destructive interference. To address these challenges, we propose HFedMoE, a heterogeneous MoE-based FL fine-tuning framework that customizes a subset of experts to each client for computation-efficient LLM fine-tuning. Specifically, HFedMoE identifies the expert importance based on its contributions to fine-tuning performance, and then adaptively selects a subset of experts from an information bottleneck perspective to align with each client' s computing budget. A sparsity-aware model aggregation strategy is also designed to aggregate the actively fine-tuned experts and gating parameters with importance weighted contributions. Extensive experiments demonstrate that HFedMoE outperforms state-of-the-art benchmarks in training accuracy and convergence speed.
• Abstract（参考訳）: FL(Federated Learning)はデータのプライバシを損なうことなく,大規模言語モデル(LLM)の微調整を可能にする。 このように、Mixture-of-Experts (MoE) モデルは計算効率のよいソリューションとして登場し、モデルトレーニング中に専門家のわずかなサブセットのみを活性化し、性能を犠牲にすることなく計算負担を軽減する。 MoEをFLファインチューニングに統合することは大きな可能性を秘めているが、それでも3つの大きな課題に直面している。 一 各専門家の局地的な微調整性能への影響を測る信頼性の低い基準が欠如していることから、顧客にとって適切な専門家を選ぶことは依然として困難である。 二 クライアント間の異種コンピューティングリソースは、多様な入力サンプルにわたる動的エキスパートアクティベーションがリソース制約されたデバイスを圧倒しうるため、MOEベースのLCM微調整を著しく妨げる。 三 クライアント固有の専門家のサブセット及びルーティング優先がグローバルアグリゲーションを損なうこと。 これらの課題に対処するため、計算効率の良いLLMファインチューニングのために、専門家のサブセットを各クライアントにカスタマイズする不均一なMoEベースのFLファインチューニングフレームワークであるHFedMoEを提案する。 具体的には、HFedMoEは、微調整性能への貢献に基づいて専門家の重要性を特定し、情報ボトルネックの観点から専門家のサブセットを適応的に選択し、各クライアントのコンピューティング予算に適合させる。 疎性を考慮したモデルアグリゲーション戦略は、積極的に調整された専門家を集約し、重み付けされた貢献を伴うパラメータをゲーティングするように設計されている。 大規模な実験により、HFedMoEはトレーニング精度と収束速度において最先端のベンチマークより優れていることが示された。

関連論文リスト

• FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment [38.27527504479237]
  Mixture-of-Experts (MoE)モデルは条件付き計算によってスケーラブルなニューラルネットワークを実現する。 このアプローチでは、トレーニングフィードバックを通じて、ローカルデータセットのエキスパート適合度を定量化する、クライアント-専門家適合度スコアを導入している。 3つの異なるデータセットに関する包括的実験により、提案したFLEX-MoEの優れた性能を示す。
  論文  参考訳（メタデータ） (2025-12-28T20:32:13Z)
• Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices [41.84571097603175]
  大規模言語モデル (LLM) のファインチューニングは, 膨大な計算量と参加者の資源制約のため, 困難である。 制約コンピューティングリソースの参加者間でMoEベースのLLMの微調整を可能にするシステムであるFLUXを提案する。 FLUXは既存の手法よりも優れており、時間と精度で最大4.75倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-08-26T14:39:00Z)
• Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation [56.36237936346563]
  ファンデーションモデル(FM)は顕著な一般化を示すが、下流のタスクに適応する必要がある。 データプライバシー規制のため、クラウドベースのFMはプライベートエッジデータに直接アクセスできない。 エッジデバイスがラベルのない低解像度のデータのみを保持する実践的セミスーパービジョン・フェデレーションラーニング(PSSFL)を導入する。 我々の研究は、フェデレートされたシナリオにおけるスケーラブルでプライバシ保護のFM適応の道を開いた。
  論文  参考訳（メタデータ） (2025-08-22T17:47:02Z)
• Efficient Training of Large-Scale AI Models Through Federated Mixture-of-Experts: A System-Level Approach [52.79991638077892]
  この記事では、動的クライアント-専門家のアライメントのための堅牢な定量的戦略が欠如しているという、批判的だが未調査のコンセプトを強調します。 本稿では,動的適合度スコアリング,グローバルエキスパート負荷監視,クライアントのキャパシティ・プロファイリングを取り入れた,インテリジェントなクライアント-エキスパートアライメントのためのシステム設計を提案する。
  論文  参考訳（メタデータ） (2025-07-08T05:30:37Z)
• FLAME: Towards Federated Fine-Tuning Large Language Models Through Adaptive SMoE [21.860699562235776]
  FLAMEは、Sparse Mixture-of-Experts (SMoE)アーキテクチャに基づく新しい連邦学習フレームワークである。 グローバルな(圧縮されていない)LoRA行列を保持し、クライアントごとにアクティベートされた専門家の数を変えることで、クライアント側の適応性を達成する。 軽量な再スケーリング機構とアクティベーション対応アグリゲーションスキームによって、これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-06-19T21:02:19Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。