論文の概要: FLAME: Towards Federated Fine-Tuning Large Language Models Through Adaptive SMoE

• arxiv url: http://arxiv.org/abs/2506.16600v1
• Date: Thu, 19 Jun 2025 21:02:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.255153
• Title: FLAME: Towards Federated Fine-Tuning Large Language Models Through Adaptive SMoE
• Title（参考訳）: FLAME:Adaptive SMoEによるFederated Fine-Tuning Large Language Models
• Authors: Khiem Le, Tuan Tran, Ting Hua, Nitesh V. Chawla,
• Abstract要約: FLAMEは、Sparse Mixture-of-Experts (SMoE)アーキテクチャに基づく新しい連邦学習フレームワークである。 グローバルな(圧縮されていない)LoRA行列を保持し、クライアントごとにアクティベートされた専門家の数を変えることで、クライアント側の適応性を達成する。 軽量な再スケーリング機構とアクティベーション対応アグリゲーションスキームによって、これらの課題に対処する。
• 参考スコア（独自算出の注目度）: 21.860699562235776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing resource-adaptive LoRA federated fine-tuning methods enable clients to fine-tune models using compressed versions of global LoRA matrices, in order to accommodate various compute resources across clients. This compression requirement will lead to suboptimal performance due to information loss. To address this, we propose FLAME, a novel federated learning framework based on the Sparse Mixture-of-Experts (SMoE) architecture. Unlike prior approaches, FLAME retains full (uncompressed) global LoRA matrices and achieves client-side adaptability by varying the number of activated experts per client. However, incorporating SMoE into federated learning introduces unique challenges, specifically, the mismatch in output magnitude from partial expert activation and the imbalance in expert training quality across clients. FLAME tackles these challenges through a lightweight rescaling mechanism and an activation-aware aggregation scheme. Empirical results across diverse computational settings demonstrate that FLAME consistently outperforms existing methods, providing a robust and effective solution for resource-adaptive federated learning.
• Abstract（参考訳）: 既存のリソース適応型LoRAファインチューニング手法により、クライアント間で様々な計算リソースに対応するため、クライアントはグローバルなLoRA行列の圧縮バージョンを使用して細調整モデルを作成できる。 この圧縮要求は、情報損失による最適以下の性能をもたらす。 そこで本稿では,Sparse Mixture-of-Experts (SMoE) アーキテクチャに基づく新しいフェデレーション学習フレームワークFLAMEを提案する。 従来のアプローチとは異なり、FLAMEは(圧縮されていない)グローバルなLoRA行列を保持し、クライアントごとにアクティベートされた専門家の数を変えることでクライアント側の適応性を達成する。 しかし、SMoEをフェデレートラーニングに組み込むことは、特に、部分的エキスパートアクティベーションからの出力大小のミスマッチと、クライアント間のエキスパートトレーニング品質の不均衡という、ユニークな課題をもたらす。 FLAMEは、軽量な再スケーリング機構とアクティベーション対応アグリゲーションスキームを通じて、これらの課題に取り組む。 様々な計算環境にまたがる実証的な結果から、FLAMEは既存の手法を一貫して上回り、資源適応型フェデレーション学習のための堅牢で効果的なソリューションを提供する。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
  ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。 低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-11-22T14:19:01Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• An Element-Wise Weights Aggregation Method for Federated Learning [11.9232569348563]
  フェデレートラーニングのための革新的要素量集約法(EWWA-FL)を提案する。 EWWA-FLは、個々の要素のレベルでグローバルモデルに局所的な重みを集約し、各クライアントが学習プロセスに要素的に貢献することを可能にする。 各クライアントのユニークなデータセット特性を考慮して、EWWA-FLはグローバルモデルの堅牢性を異なるデータセットに拡張する。
  論文  参考訳（メタデータ） (2024-04-24T15:16:06Z)
• Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources [31.041608465716575]
  大規模言語モデル(LLM)のパラメータ効率の高い微調整には、最近FL(Federated Learning)が適用されている。 本研究では,LLMファインチューニングのための簡易かつ効果的なアグリゲーションスキームFlexLoRAを紹介する。
  論文  参考訳（メタデータ） (2024-02-18T08:32:59Z)
• Overcome Modal Bias in Multi-modal Federated Learning via Balanced Modality Selection [19.284989473603627]
  マルチモーダル学習(MFL)のための新しいバランスモード選択フレームワークを提案する。 特定の単一モードの局所的なトレーニングは、すべての局所的なモダリティのトレーニングよりも、グローバルなモデルに寄与する可能性があることを示す。 オーディオ・ビジュアル・カラーグレー・フロントバック・データセットに関する実験は,ベースラインよりもBMSFの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-31T05:37:27Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。