論文の概要: FedMS: Federated Learning with Mixture of Sparsely Activated Foundations
Models
- arxiv url: http://arxiv.org/abs/2312.15926v1
- Date: Tue, 26 Dec 2023 07:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 15:30:45.714837
- Title: FedMS: Federated Learning with Mixture of Sparsely Activated Foundations
Models
- Title（参考訳）: fedms: スパースに活性化された基礎モデルの混合によるフェデレーション学習
- Authors: Panlong Wu, Kangshuo Li, Ting Wang, and Fangxin Wang
- Abstract要約: 我々はFedMSと呼ばれる新しい2段階のフェデレーション学習アルゴリズムを提案する。
グローバルエキスパートは第一段階で訓練され、ローカルエキスパートは第二段階で訓練され、より良いパーソナライズを提供する。
我々はFedMSの有効性を検証するために広範囲な実験を行い、その結果、FedMSは他のSOTAベースラインを55.25%まで上回る結果となった。
- 参考スコア（独自算出の注目度）: 11.362085734837217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models have shown great success in natural language processing,
computer vision, and multimodal tasks. FMs have a large number of model
parameters, thus requiring a substantial amount of data to help optimize the
model during the training. Federated learning has revolutionized machine
learning by enabling collaborative learning from decentralized data while still
preserving the data privacy of clients. Despite the great benefits foundation
models can have empowered by federated learning, they face severe computation,
communication, and statistical challenges. In this paper, we propose a novel
two-stage federated learning algorithm called FedMS. A global expert is trained
in the first stage and a local expert is trained in the second stage to provide
better personalization. We construct a Mixture of Foundation Models (MoFM) with
these two experts and design a gate neural network with an inserted gate
adapter that joins the aggregation every communication round in the second
stage. To further adapt to edge computing scenarios with limited computational
resources, we design a novel Sparsely Activated LoRA (SAL) algorithm that
freezes the pre-trained foundation model parameters inserts low-rank adaptation
matrices into transformer blocks and activates them progressively during the
training. We employ extensive experiments to verify the effectiveness of FedMS,
results show that FedMS outperforms other SOTA baselines by up to 55.25% in
default settings.
- Abstract（参考訳）: 基礎モデルは自然言語処理、コンピュータビジョン、マルチモーダルタスクにおいて大きな成功を収めている。
FMには多数のモデルパラメータがあり、トレーニング中にモデルを最適化するのにかなりの量のデータが必要である。
フェデレーション学習は、クライアントのデータプライバシを保ちながら、分散データからの協調学習を可能にすることによって、機械学習に革命をもたらした。
基礎モデルが連合学習によって力づけられる大きなメリットにもかかわらず、それらは厳しい計算、コミュニケーション、統計的な課題に直面します。
本稿では,FedMSと呼ばれる新しい2段階のフェデレーション学習アルゴリズムを提案する。
グローバルエキスパートは第一段階で訓練され、ローカルエキスパートは第二段階で訓練され、より良いパーソナライズを提供する。
我々は,これら2つの専門家とともにMixture of Foundation Models (MoFM)を構築し,第2段の通信ラウンド毎に集約に結合するゲートアダプタを挿入したゲートニューラルネットワークを設計する。
計算資源が限られているエッジコンピューティングのシナリオにさらに適応するために、事前学習された基礎モデルパラメータを冷凍し、低ランク適応行列を変圧器ブロックに挿入し、訓練中に徐々に活性化するSALアルゴリズムを設計する。
我々はFedMSの有効性を検証するために広範な実験を行い、その結果、FedMSは他のSOTAベースラインを55.25%まで上回る結果となった。
関連論文リスト
- Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。
FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。
実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-06-16T19:18:06Z) - Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。
本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。
我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
論文 参考訳（メタデータ） (2024-03-24T07:33:08Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal
Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。
Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。
その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-08-21T21:57:01Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Supernet Training for Federated Image Classification under System
Heterogeneity [15.2292571922932]
本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。
フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。
本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
論文 参考訳（メタデータ） (2022-06-03T02:21:01Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - FedAUX: Leveraging Unlabeled Auxiliary Data in Federated Learning [14.10627556244287]
フェデレート蒸留(Federated Distillation, FD)は、フェデレート学習のための新しいアルゴリズムパラダイムである。
ラベルなし補助データから最大ユーティリティを導出することで性能を大幅に向上するFedAUXを提案する。
大規模畳み込みニューラルネットワークとトランスフォーマーモデルの実験により、FedAUXのトレーニング性能がSOTA FLベースライン法を上回ることを示した。
論文 参考訳（メタデータ） (2021-02-04T09:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。