論文の概要: Unlocking Personalized Knowledge in Federated Large Language Model: The Power of Mixture of Experts

• arxiv url: http://arxiv.org/abs/2506.00965v1
• Date: Sun, 01 Jun 2025 11:24:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.87131
• Title: Unlocking Personalized Knowledge in Federated Large Language Model: The Power of Mixture of Experts
• Title（参考訳）: フェデレーション付き大言語モデルにおけるパーソナライズド知識のアンロック:エキスパートの混合力
• Authors: Fan Liu, Bikang Pan, Zhongyi Wang, Xi Yao, Xiaoying Tang, Jingya Wang, Ye Shi,
• Abstract要約: 我々は,大規模言語モデル(LLM)に特化して設計された新しいフェデレーション学習フレームワークFLExを提案する。 FLExはグローバルなMoEモデルをプルーニングすることで効率よくパーソナライズし、クライアント毎に1人の専門家しか保持せず、適応的なゲーティングメカニズムを使用して、パーソナライズされた専門家をトレーニング済みのMoE層に再統合する。 これらのパーソナライズされた専門家はローカルデータでトレーニングされ、各クライアントにローカルに保存され、共有モジュールはグローバルに集約される。
• 参考スコア（独自算出の注目度）: 14.713865726974761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Mixture of Experts (MoE) architecture has emerged as a prominent strategy for scaling large language models (LLMs), effectively leveraging sparse activation and facilitating task-specific personalization. However, current federated learning (FL) approaches are primarily designed for dense models, making them unable to directly exploit the sparsity inherent in MoE architectures. Treating MoE models as dense networks in federated scenarios results in excessive communication overhead and computational costs, undermining the potential for personalized knowledge sharing. To address these challenges, we propose FLEx (Federated LLMs with Personalized Experts), a novel federated learning framework explicitly tailored for MoE-based LLMs. FLEx efficiently personalizes by pruning the global MoE model to keep only one expert per client, and employs an adaptive gating mechanism to reintegrate these personalized experts into the pre-trained MoE layers, ensuring the original backbone architecture remains unchanged. These personalized experts are trained with local data and stored locally on each client, while the shared modules are aggregated globally. Extensive evaluations on diverse instruction-based datasets under non-IID conditions consistently demonstrate that FLEx outperforms existing federated baselines. Our code is available at https://anonymous.4open.science/r/FLEx-8F12.
• Abstract（参考訳）: 大規模言語モデル(LLM)のスケーリング戦略としてMixture of Experts (MoE)アーキテクチャが登場し、スパースアクティベーションを効果的に活用し、タスク固有のパーソナライズを容易にする。 しかし、現在の連邦学習(FL)アプローチは、主に密集モデルのために設計されており、MoEアーキテクチャに固有の空間を直接利用できない。 連合シナリオにおける密ネットワークとしてMoEモデルを扱うと、過剰な通信オーバーヘッドと計算コストが発生し、パーソナライズされた知識共有の可能性を損なう。 これらの課題に対処するため, FLEx (Federated LLMs with Personalized Experts) を提案する。 FLExはグローバルなMoEモデルをプルーニングすることで効率よくパーソナライズし、クライアントごとに1人の専門家しか保持せず、適応的なゲーティングメカニズムを使用して、これらのパーソナライズされた専門家をトレーニング済みのMoE層に再統合し、元のバックボーンアーキテクチャが変更されないようにする。 これらのパーソナライズされた専門家はローカルデータでトレーニングされ、各クライアントにローカルに保存され、共有モジュールはグローバルに集約される。 非IID条件下での多様な命令ベースデータセットの広範囲な評価は、FLExが既存のフェデレーションベースラインより優れていることを一貫して示している。 私たちのコードはhttps://anonymous.4open.science/r/FLEx-8F12で公開されています。

関連論文リスト

• PM-MOE: Mixture of Experts on Private Model Parameters for Personalized Federated Learning [14.681194790227085]
  フェデレーテッド・ラーニング(FL)は、プライバシー保護と協調学習能力で広く注目を集めている。 パーソナライズド・フェデレーション(Personalized Federated Learning)は、モデルをグローバルな共有部分とローカルなプライベート部分に分割することで、この問題に対処する。 本稿では、パーソナライズされたモジュールとエネルギーベースのパーソナライズされたモジュールを組み合わせたPM-MoEアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-01T07:20:21Z)
• Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures [15.645254436094055]
  Federated Learning (FL) は、生データにアクセスすることなく、大規模言語モデルの協調的な微調整を可能にする。 データ駆動の異種モデルアーキテクチャを実現する軽量なパーソナライズFLフレームワークであるFedAMoLEを提案する。 実験の結果、FedAMoLEはクライアントサイドのパフォーマンスを既存のアプローチと比べて平均5.14%改善している。
  論文  参考訳（メタデータ） (2024-11-28T13:20:38Z)
• FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
  我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。 FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。 第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
  論文  参考訳（メタデータ） (2024-08-21T03:16:12Z)
• Self-MoE: Towards Compositional Large Language Models with Self-Specialized Experts [49.950419707905944]
  本稿では,モノリシックLLMを,自己専門化の専門家による構成的,モジュール的なシステムに変換するアプローチであるSelf-MoEを紹介する。 提案手法は, 自己生成合成データを用いて, 専門家モジュールを構成する自己特殊化を利用する。 本研究は, モジュール性の重要性, マルチベースLCMへの適用性, 効率的でスケーラブルで適応可能なシステムの実現における自己改善の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2024-06-17T19:06:54Z)
• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
  FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。 我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。 我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。