論文の概要: Efficient Training of Large-Scale AI Models Through Federated Mixture-of-Experts: A System-Level Approach

• arxiv url: http://arxiv.org/abs/2507.05685v1
• Date: Tue, 08 Jul 2025 05:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.631679
• Title: Efficient Training of Large-Scale AI Models Through Federated Mixture-of-Experts: A System-Level Approach
• Title（参考訳）: フェデレーション・オブ・エクスプロイトによる大規模AIモデルの効率的なトレーニング:システムレベルアプローチ
• Authors: Xiaobing Chen, Boyang Zhang, Xiangwei Zhou, Mingxuan Sun, Shuai Zhang, Songyang Zhang, Geoffrey Ye Li,
• Abstract要約: この記事では、動的クライアント-専門家のアライメントのための堅牢な定量的戦略が欠如しているという、批判的だが未調査のコンセプトを強調します。 本稿では,動的適合度スコアリング,グローバルエキスパート負荷監視,クライアントのキャパシティ・プロファイリングを取り入れた,インテリジェントなクライアント-エキスパートアライメントのためのシステム設計を提案する。
• 参考スコア（独自算出の注目度）: 52.79991638077892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of Federated Learning (FL) and Mixture-of-Experts (MoE) presents a compelling pathway for training more powerful, large-scale artificial intelligence models (LAMs) on decentralized data while preserving privacy. However, efficient federated training of these complex MoE-structured LAMs is hindered by significant system-level challenges, particularly in managing the interplay between heterogeneous client resources and the sophisticated coordination required for numerous specialized experts. This article highlights a critical, yet underexplored concept: the absence of robust quantitative strategies for dynamic client-expert alignment that holistically considers varying client capacities and the imperative for system-wise load balancing. Specifically, we propose a conceptual system design for intelligent client-expert alignment that incorporates dynamic fitness scoring, global expert load monitoring, and client capacity profiling. By tackling these systemic issues, we can unlock more scalable, efficient, and robust training mechanisms {with fewer communication rounds for convergence}, paving the way for the widespread deployment of large-scale federated MoE-structured LAMs in edge computing with ultra-high communication efficiency.
• Abstract（参考訳）: フェデレートラーニング(FL)とMixture-of-Experts(MoE)の統合は、より強力で大規模な人工知能モデル(LAM)を、プライバシを維持しながら分散データ上でトレーニングするための魅力的なパスを提供する。 しかし、これらの複雑なMoE構造化AMの効率的なフェデレートトレーニングは、特に異種クライアントリソース間の相互作用の管理と、多数の専門専門家に必要な高度な調整において、重要なシステムレベルの課題によって妨げられている。 動的クライアント-専門家アライメントのための堅牢な定量的戦略が欠如していることは、様々なクライアントの能力とシステムワイドなロードバランシングに必須である、とホリスティックに考えています。 具体的には、動的フィットネススコアリング、グローバルエキスパート負荷監視、クライアントのキャパシティプロファイリングを含むインテリジェントクライアント-エキスパートアライメントのための概念システム設計を提案する。 これらのシステム的問題に取り組むことで、よりスケーラブルで効率的でロバストなトレーニングメカニズムを、より少ない通信ラウンドで収束させることができ、超高効率な通信効率でエッジコンピューティングに大規模な連邦化MoE構造化AMを広く展開する道を開くことができる。

関連論文リスト

• Compositional Learning for Modular Multi-Agent Self-Organizing Networks [0.7122137885660501]
  自己組織化されたネットワークは、複雑なパラメータの相互依存と矛盾する目標からの課題に直面します。 本研究では,CDRL(Compositional Deep Reinforcement Learning)とCPDM(Compositional Predictive Decision-Making)の2つの構成学習手法を紹介する。 モデル複雑性を低減しつつ不均一なエージェントの粒度を管理するために,セルレベルおよびセルペアレベルのエージェントを用いたモジュール型2層フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-03T08:33:18Z)
• FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation [22.281467168796645]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを共有せずにモデルをトレーニングできる、コラボレーティブな機械学習アプローチである。 我々は、新しいドメイン認識、きめ細かい集約戦略を取り入れた新しいFLモデルトレーニングフレームワークであるFedMoE-DAを提案し、ロバスト性、パーソナライズ性、通信効率を同時に向上する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:04Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Federated Learning with Flexible Architectures [12.800116749927266]
  本稿では,フレキシブルアーキテクチャを用いたフェデレートラーニング(FedFA)について紹介する。 FedFAは、モデルアグリゲーション中に、クライアントのローカルアーキテクチャとFLシステムにおける最大のネットワークアーキテクチャを整合させるために、レイヤグラフト技術を導入している。
  論文  参考訳（メタデータ） (2024-06-14T09:44:46Z)
• Generative AI Agents with Large Language Model for Satellite Networks via a Mixture of Experts Transmission [74.10928850232717]
  本稿では、モデル定式化のための生成人工知能(AI)エージェントを開発し、送信戦略の設計に専門家(MoE)の混合を適用した。 具体的には,大規模言語モデル(LLM)を活用して対話型モデリングパラダイムを構築する。 定式化問題の解法として, MoE-proximal Policy Optimization (PPO) アプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-14T03:44:54Z)
• FedAA: A Reinforcement Learning Perspective on Adaptive Aggregation for Fair and Robust Federated Learning [5.622065847054885]
  Federated Learning (FL)は、分散デバイス間でのプライバシ保護モデルトレーニングのための有望なアプローチとして登場した。 我々はtextbfAdaptive textbfAggregation を通じてクライアントのコントリビューションを最適化する textbfFedAA という新しい手法を導入し、悪意のあるクライアントに対するモデルロバスト性を高める。
  論文  参考訳（メタデータ） (2024-02-08T10:22:12Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。