論文の概要: Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity

• arxiv url: http://arxiv.org/abs/2603.21276v1
• Date: Sun, 22 Mar 2026 15:07:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.321743
• Title: Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity
• Title（参考訳）: データヘテロジネス下での混合実験によるフェデレーション学習のための集約アライメント
• Authors: Zihan Fang, Qianru Wang, Haonan An, Zheng Lin, Yiqin Deng, Xianhao Chen, Yuguang Fang,
• Abstract要約: 大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
• 参考スコア（独自算出の注目度）: 27.791732281031695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) increasingly adopt Mixture-of-Experts (MoE) architectures to scale model capacity while reducing computation. Fine-tuning these MoE-based LLMs often requires access to distributed and privacy-sensitive data, making centralized fine-tuning impractical. Federated learning (FL) therefore provides a paradigm to collaboratively fine-tune MoE-based LLMs, enabling each client to integrate diverse knowledge without compromising data privacy. However, the integration of MoE-based LLM fine-tuning into FL encounters two critical aggregation challenges due to inherent data heterogeneity across clients: (i) divergent local data distributions drive clients to develop distinct gating preference for localized expert selection, causing direct parameter aggregation to produce a ``one-size-fits-none'' global gating network, and (ii) same-indexed experts develop disparate semantic roles across clients, leading to expert semantic blurring and the degradation of expert specialization. To address these challenges, we propose FedAlign-MoE, a federated aggregation alignment framework that jointly enforces routing consistency and expert semantic alignment. Specifically, FedAlign-MoE aggregates gating behaviors by aligning routing distributions through consistency weighting and optimizes local gating networks through distribution regularization, maintaining cross-client stability without overriding discriminative local preferences. Meanwhile, FedAlign-MoE explicitly quantifies semantic consistency among same-indexed experts across clients and selectively aggregates updates from semantically aligned clients, ensuring stable and specialized functional roles for global experts. Extensive experiments demonstrate that FedAlign-MoE outperforms state-of-the-art benchmarks, achieving faster convergence and superior accuracy in non-IID federated environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 したがって、フェデレートラーニング(FL)は、協調的にMoEベースのLLMを微調整するパラダイムを提供し、各クライアントがデータのプライバシーを損なうことなく多様な知識を統合することを可能にする。 しかし、 MoE ベースの LLM の FL への微調整は、クライアント間のデータ不均一性に起因する2つの重要な集約問題に遭遇する。 (i)異なるローカルデータ分散は、クライアントに対して、局所化専門家選択のための異なるゲーティング嗜好を開発するよう促し、直接パラメータアグリゲーションを発生させ、 '`one-size-fits-none'' グローバルゲーティングネットワークを生成します。 (II)同種の専門家は、クライアント間で異なるセマンティックな役割を発達させ、専門家のセマンティックな曖昧さと専門家の専門化の悪化につながる。 これらの課題に対処するために、ルーティング一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。 具体的には、FedAlign-MoEは、整合性重み付けによるルーティング分布の整合化によるゲーティング動作の集約と、分布正規化によるローカルゲーティングネットワークの最適化により、差別的局所的嗜好をオーバーライドすることなく、クロスクライアント安定性を維持する。 一方、FedAlign-MoEは、クライアント間で同一インデックスのエキスパート間のセマンティック一貫性を明示的に定量化し、セマンティックに整合したクライアントからの更新を選択的に集約し、グローバルの専門家にとって安定的で特別な機能的役割を確実にする。 大規模な実験により、FedAlign-MoEは最先端のベンチマークより優れており、IID以外のフェデレーション環境でより高速な収束と優れた精度を実現している。

関連論文リスト

• FedPrism: Adaptive Personalized Federated Learning under Non-IID Data [1.299941371793082]
  FedPrismは、各クライアントのモデルを3つの部分から構築するフレームワークである。 Prism Decompositionメソッドを使用して、各クライアントのモデルを3つの部分から構築する。 また、Dual-Streamデザインを使用しており、地元のスペシャリストと一緒に一般的なモデルを実行している。
  論文  参考訳（メタデータ） (2026-03-09T11:23:32Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-31T03:11:51Z)
• Federated Multi-Task Clustering [44.73672172790804]
  本稿では,Federated Multi-Task Clustering(FMTC)という新しいフレームワークを提案する。 クライアント側パーソナライズされたクラスタリングモジュールとサーバ側テンソル相関モジュールの2つの主要コンポーネントで構成されている。 乗算器の交互方向法に基づく,効率的なプライバシ保護分散アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-12-28T12:02:32Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures [23.45003063073793]
  フェデレートラーニング(FL)は、生データにアクセスすることなく、大規模言語モデルの協調的な微調整を可能にする。 既存のファインチューニングへのアプローチは通常、一様モデルアーキテクチャを採用する。 データ駆動の異種モデルアーキテクチャを実現する軽量なパーソナライズFLフレームワークであるFedAMoLEを提案する。
  論文  参考訳（メタデータ） (2024-11-28T13:20:38Z)
• FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
  我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。 FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。 第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
  論文  参考訳（メタデータ） (2024-08-21T03:16:12Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [55.0981921695672]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。