論文の概要: Collaborative and Efficient Personalization with Mixtures of Adaptors
- arxiv url: http://arxiv.org/abs/2410.03497v1
- Date: Fri, 4 Oct 2024 15:11:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 21:50:00.699435
- Title: Collaborative and Efficient Personalization with Mixtures of Adaptors
- Title（参考訳）: 適応器の混合による協調的・効率的なパーソナライゼーション
- Authors: Abdulla Jasem Almansoori, Samuel Horváth, Martin Takáč,
- Abstract要約: マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。
FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。
人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
- 参考スコア（独自算出の注目度）: 5.195669033269619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-iid data is prevalent in real-world federated learning problems. Data heterogeneity can come in different types in terms of distribution shifts. In this work, we are interested in the heterogeneity that comes from concept shifts, i.e., shifts in the prediction across clients. In particular, we consider multi-task learning, where we want the model to adapt to the task of the client. We propose a parameter-efficient framework to tackle this issue, where each client learns to mix between parameter-efficient adaptors according to its task. We use Low-Rank Adaptors (LoRAs) as the backbone and extend its concept to other types of layers. We call our framework Federated Low-Rank Adaptive Learning (FLoRAL). This framework is not an algorithm but rather a model parameterization for a multi-task learning objective, so it can work on top of any algorithm that optimizes this objective, which includes many algorithms from the literature. FLoRAL is memory-efficient, and clients are personalized with small states (e.g., one number per adaptor) as the adaptors themselves are federated. Hence, personalization is--in this sense--federated as well. Even though clients can personalize more freely by training an adaptor locally, we show that collaborative and efficient training of adaptors is possible and performs better. We also show that FLoRAL can outperform an ensemble of full models with optimal cluster assignment, which demonstrates the benefits of federated personalization and the robustness of FLoRAL to overfitting. We show promising experimental results on synthetic datasets, real-world federated multi-task problems such as MNIST, CIFAR-10, and CIFAR-100. We also provide a theoretical analysis of local SGD on a relaxed objective and discuss the effects of aggregation mismatch on convergence.
- Abstract（参考訳）: 非イドデータは、現実世界のフェデレーション学習問題で広く利用されている。
データの不均一性は、分散シフトの点で異なるタイプのものとなる。
この研究では、コンセプトシフト、すなわちクライアント間での予測のシフトから生じる異質性に興味を持っています。
特に、モデルをクライアントのタスクに適応させたいマルチタスク学習について検討する。
この問題に対処するためのパラメータ効率フレームワークを提案し、各クライアントはそのタスクに応じてパラメータ効率のよいアダプタを混在させることを学ぶ。
バックボーンとしてLoRA(Lolow-Rank Adaptors)を使用し、そのコンセプトを他のタイプのレイヤに拡張しています。
当社のフレームワークをFLoRAL(Federated Low-Rank Adaptive Learning)と呼んでいます。
このフレームワークは、アルゴリズムではなく、マルチタスク学習目的のためのモデルパラメータ化であり、文献からの多くのアルゴリズムを含む、この目的を最適化する任意のアルゴリズム上で動作することができる。
FLoRALはメモリ効率が高く、クライアントはアダプタ自体がフェデレーションされるため、小さな状態(例えば、アダプタ毎に1個)でパーソナライズされる。
したがって、パーソナライゼーションは、この意味でも----フェデレーションである。
クライアントは、アダプタをローカルにトレーニングすることで、より自由にパーソナライズすることができるが、アダプタの協調的かつ効率的なトレーニングが可能であり、パフォーマンスが向上することを示す。
また,FLoralは,フェデレートされたパーソナライゼーションのメリットと,FLoralの過度な適合性を示すため,クラスタ割り当てを最適化した完全モデルのアンサンブルよりも優れていることを示す。
合成データセット,MNIST, CIFAR-10, CIFAR-100などの実世界のマルチタスク問題について, 有望な実験結果を示す。
また, 局所SGDの緩和対象に関する理論的解析を行い, 凝集ミスマッチが収束に及ぼす影響について考察する。
関連論文リスト
- Personalized federated learning based on feature fusion [2.943623084019036]
フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。
pFedPMと呼ばれる個人化学習手法を提案する。
このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
論文 参考訳（メタデータ） (2024-06-24T12:16:51Z) - Loop Improvement: An Efficient Approach for Extracting Shared Features from Heterogeneous Data without Central Server [16.249442761713322]
LI(Loop Improvement)は、この分離と特徴抽出を、参加者間の中央サーバやデータ交換を必要とせずに強化する新しい手法である。
パーソナライズされたフェデレーション学習環境では、LIは様々なシナリオで高度なFedALAアルゴリズムよりも精度が高い。
LIの適応性はマルチタスク学習にまで拡張され、タスク間で共通の機能の抽出が合理化され、同時にトレーニングする必要がなくなる。
論文 参考訳（メタデータ） (2024-03-21T12:59:24Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Locally Adaptive Federated Learning [30.19411641685853]
フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。
Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。
本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-12T17:02:32Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。
トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。
本稿では,フェデレートラーニングのための並列適応器を提案する。
論文 参考訳（メタデータ） (2023-02-06T17:30:33Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。