論文の概要: FLAME: Towards Federated Fine-Tuning Large Language Models Through Adaptive SMoE

• arxiv url: http://arxiv.org/abs/2506.16600v1
• Date: Thu, 19 Jun 2025 21:02:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.255153
• Title: FLAME: Towards Federated Fine-Tuning Large Language Models Through Adaptive SMoE
• Title（参考訳）: FLAME:Adaptive SMoEによるFederated Fine-Tuning Large Language Models
• Authors: Khiem Le, Tuan Tran, Ting Hua, Nitesh V. Chawla,
• Abstract要約: FLAMEは、Sparse Mixture-of-Experts (SMoE)アーキテクチャに基づく新しい連邦学習フレームワークである。 グローバルな(圧縮されていない)LoRA行列を保持し、クライアントごとにアクティベートされた専門家の数を変えることで、クライアント側の適応性を達成する。 軽量な再スケーリング機構とアクティベーション対応アグリゲーションスキームによって、これらの課題に対処する。
• 参考スコア（独自算出の注目度）: 21.860699562235776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing resource-adaptive LoRA federated fine-tuning methods enable clients to fine-tune models using compressed versions of global LoRA matrices, in order to accommodate various compute resources across clients. This compression requirement will lead to suboptimal performance due to information loss. To address this, we propose FLAME, a novel federated learning framework based on the Sparse Mixture-of-Experts (SMoE) architecture. Unlike prior approaches, FLAME retains full (uncompressed) global LoRA matrices and achieves client-side adaptability by varying the number of activated experts per client. However, incorporating SMoE into federated learning introduces unique challenges, specifically, the mismatch in output magnitude from partial expert activation and the imbalance in expert training quality across clients. FLAME tackles these challenges through a lightweight rescaling mechanism and an activation-aware aggregation scheme. Empirical results across diverse computational settings demonstrate that FLAME consistently outperforms existing methods, providing a robust and effective solution for resource-adaptive federated learning.
• Abstract（参考訳）: 既存のリソース適応型LoRAファインチューニング手法により、クライアント間で様々な計算リソースに対応するため、クライアントはグローバルなLoRA行列の圧縮バージョンを使用して細調整モデルを作成できる。 この圧縮要求は、情報損失による最適以下の性能をもたらす。 そこで本稿では,Sparse Mixture-of-Experts (SMoE) アーキテクチャに基づく新しいフェデレーション学習フレームワークFLAMEを提案する。 従来のアプローチとは異なり、FLAMEは(圧縮されていない)グローバルなLoRA行列を保持し、クライアントごとにアクティベートされた専門家の数を変えることでクライアント側の適応性を達成する。 しかし、SMoEをフェデレートラーニングに組み込むことは、特に、部分的エキスパートアクティベーションからの出力大小のミスマッチと、クライアント間のエキスパートトレーニング品質の不均衡という、ユニークな課題をもたらす。 FLAMEは、軽量な再スケーリング機構とアクティベーション対応アグリゲーションスキームを通じて、これらの課題に取り組む。 様々な計算環境にまたがる実証的な結果から、FLAMEは既存の手法を一貫して上回り、資源適応型フェデレーション学習のための堅牢で効果的なソリューションを提供する。

関連論文リスト

• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• HFedMoE: Resource-aware Heterogeneous Federated Learning with Mixture-of-Experts [26.55877320740609]
  我々は,HFedMoEを提案する。HFedMoEは不均一なMoEベースのFLファインチューニングフレームワークで,各クライアントに専門家のサブセットをカスタマイズする。 HFedMoEは、微調整パフォーマンスへの貢献に基づいて、専門家の重要性を特定している。 そして、情報ボトルネックの観点から専門家のサブセットを適応的に選択し、各クライアントのコンピューティング予算に適合させる。
  論文  参考訳（メタデータ） (2026-01-02T05:56:11Z)
• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• FFT-MoE: Efficient Federated Fine-Tuning for Foundation Models via Large-scale Sparse MoE under Heterogeneous Edge [7.976167864455345]
  フェデレート・ラーニング(FL)はフェデレーション・ファイン・チューニング(FFT)を通じて魅力的なソリューションを提供する FFT MoE は LoRA を sparse Mixture of Experts (MoE) アダプタに置き換える新しい FFT フレームワークである。 MoEは、一般化性能とトレーニング効率において、アートFFTベースラインの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2025-08-26T04:09:18Z)
• Resource-Aware Aggregation and Sparsification in Heterogeneous Ensemble Federated Learning [0.9176056742068811]
  フェデレートラーニング(FL)は、プライベートクライアントデータによる分散トレーニングを可能にする。 現在のアンサンブルに基づくFL法はモデル予測の多様性を捉えるには不十分である。 多様な計算能力を持つクライアントに適したグローバルアンサンブルベースのFLフレームワークである textbfSHEFL を提案する。
  論文  参考訳（メタデータ） (2025-08-12T01:40:46Z)
• Federated Sketching LoRA: A Flexible Framework for Heterogeneous Collaborative Fine-Tuning of LLMs [37.03583502049329]
  リソース制約のあるクライアント上での微調整大型言語モデル(LLM)は依然として難しい問題である。 最近の研究は、クライアントモデルのサイズやデータ不足に伴う課題を軽減するために、フェデレートされた微調整によるローランク適応(LoRA)技術と融合している。 サーバが保持するグローバルなLoRAモジュールのサブマトリクスをクライアントが更新できるように,スケッチ機構を活用したフェデレートスケッチLoRAを提案する。
  論文  参考訳（メタデータ） (2025-01-31T18:44:35Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
  ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。 低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-11-22T14:19:01Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
  我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。 FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。 第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
  論文  参考訳（メタデータ） (2024-08-21T03:16:12Z)
• Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
  フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。 我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。 実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-21T13:19:29Z)
• An Element-Wise Weights Aggregation Method for Federated Learning [11.9232569348563]
  フェデレートラーニングのための革新的要素量集約法(EWWA-FL)を提案する。 EWWA-FLは、個々の要素のレベルでグローバルモデルに局所的な重みを集約し、各クライアントが学習プロセスに要素的に貢献することを可能にする。 各クライアントのユニークなデータセット特性を考慮して、EWWA-FLはグローバルモデルの堅牢性を異なるデータセットに拡張する。
  論文  参考訳（メタデータ） (2024-04-24T15:16:06Z)
• Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources [31.041608465716575]
  大規模言語モデル(LLM)のパラメータ効率の高い微調整には、最近FL(Federated Learning)が適用されている。 本研究では,LLMファインチューニングのための簡易かつ効果的なアグリゲーションスキームFlexLoRAを紹介する。
  論文  参考訳（メタデータ） (2024-02-18T08:32:59Z)
• Overcome Modal Bias in Multi-modal Federated Learning via Balanced Modality Selection [19.284989473603627]
  マルチモーダル学習(MFL)のための新しいバランスモード選択フレームワークを提案する。 特定の単一モードの局所的なトレーニングは、すべての局所的なモダリティのトレーニングよりも、グローバルなモデルに寄与する可能性があることを示す。 オーディオ・ビジュアル・カラーグレー・フロントバック・データセットに関する実験は,ベースラインよりもBMSFの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-31T05:37:27Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。