Fugu-MT 論文翻訳(概要): Collaborative and Efficient Personalization with Mixtures of Adaptors

論文の概要: Collaborative and Efficient Personalization with Mixtures of Adaptors

arxiv url: http://arxiv.org/abs/2410.03497v2
Date: Sat, 08 Mar 2025 19:24:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 20:09:43.801051
Title: Collaborative and Efficient Personalization with Mixtures of Adaptors
Title（参考訳）: 適応器の混合による協調的・効率的なパーソナライゼーション
Authors: Abdulla Jasem Almansoori, Samuel Horváth, Martin Takáč,
Abstract要約: Federated Low-Rank Adaptive Learning (FLoRAL)は、低ランクのアダプタを混在させることで、クライアントがグループをパーソナライズすることを可能にする。 FLoRALは、パーソナライズされたフェデレーション学習をマルチタスク学習問題として活用するモデルパラメータ化である。
参考スコア（独自算出の注目度）: 5.195669033269619
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Heterogenous data is prevalent in real-world federated learning. We propose a parameter-efficient framework, Federated Low-Rank Adaptive Learning (FLoRAL), that allows clients to personalize in groups by mixing between low-rank adaptors, where the mixtures are client-specific. FLoRAL is a model parameterization that casts personalized federated learning as a multi-task learning problem, with weight sharing as an implicit regularizer. It is memory-efficient, as the personalized parameters (i.e., base model + adaptors) are all federated. Our results show that FLoRAL can generalize better than a mixture of full models when data are scarce. It can also consistently personalize better than models with a locally tuned adaptor per client. This demonstrates the benefits of "federated personalization" and its robustness against overfitting. We derive the convergence rates and show theoretically that FLoRAL can lead to better variance reduction of the base model's gradients.
Abstract（参考訳）: 異種データは、現実世界のフェデレーション学習で一般的である。低ランク適応学習(FLoRAL)と呼ばれるパラメータ効率のよいフレームワークを提案し、低ランク適応学習と低ランク適応学習を混在させることにより、クライアントがグループ内でパーソナライズできるようにする。 FLoRALは、パーソナライズされたフェデレーション学習をマルチタスク学習問題として、ウェイトシェアリングを暗黙の正規化器として用いたモデルパラメータ化である。パーソナライズされたパラメータ(ベースモデルとアダプタ)がすべてフェデレーションされているため、メモリ効率がよい。以上の結果から,FLoralはデータ不足時に,フルモデルの混合よりも優れた一般化が可能であることが示唆された。また、クライアントごとにローカルに調整されたアダプタを持つモデルよりも、一貫してパーソナライズすることができる。このことは、"フェデレートされたパーソナライゼーション"の利点と、過度な適合に対する堅牢性を示している。収束率を導出し、FLoral が基底モデルの勾配の分散性を改善することができることを理論的に示す。

関連論文リスト

Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文参考訳（メタデータ） (2025-01-17T04:00:50Z)
Personalized federated learning based on feature fusion [2.943623084019036]
フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。 pFedPMと呼ばれる個人化学習手法を提案する。このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
論文参考訳（メタデータ） (2024-06-24T12:16:51Z)
pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。 7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
論文参考訳（メタデータ） (2024-04-27T09:52:59Z)
Loop Improvement: An Efficient Approach for Extracting Shared Features from Heterogeneous Data without Central Server [16.249442761713322]
LI(Loop Improvement)は、この分離と特徴抽出を、参加者間の中央サーバやデータ交換を必要とせずに強化する新しい手法である。パーソナライズされたフェデレーション学習環境では、LIは様々なシナリオで高度なFedALAアルゴリズムよりも精度が高い。 LIの適応性はマルチタスク学習にまで拡張され、タスク間で共通の機能の抽出が合理化され、同時にトレーニングする必要がなくなる。
論文参考訳（メタデータ） (2024-03-21T12:59:24Z)
CoDream: Exchanging dreams instead of models for federated aggregation with heterogeneous models [8.85591781936764]
我々はCoDreamという新しいフレームワークを提案し、クライアントはランダムなデータを協調的に最適化する。私たちの重要な洞察は、このデータを共同で最適化することで、グローバルなデータ分布の特性を効果的に捉えることができるということです。モデルパラメータを共有しないにもかかわらず、標準的なFLタスクでCoDreamを実証的に検証し、競争性能を実証する。
論文参考訳（メタデータ） (2024-02-25T03:07:32Z)
Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2024-01-16T12:45:15Z)
Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。提案手法は最先端手法に比べて平均精度が13%高い。
論文参考訳（メタデータ） (2023-11-14T14:37:33Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Locally Adaptive Federated Learning [30.19411641685853]
フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-07-12T17:02:32Z)
FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文参考訳（メタデータ） (2023-06-14T15:47:52Z)
Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文参考訳（メタデータ） (2023-05-26T19:25:49Z)
Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文参考訳（メタデータ） (2023-05-24T13:52:18Z)
FedDWA: Personalized Federated Learning with Dynamic Weight Adjustment [20.72576355616359]
本稿では,この問題を解決するために,emphFedDWA (Federated Learning with Dynamic Weight Adjustment) と呼ばれる新しいPFLアルゴリズムを提案する。 FedDWAは、クライアントから収集したモデルに基づいて、パーソナライズされたアグリゲーション重みを計算する。我々は,5つの実データを用いて広範囲な実験を行い,FedDWAが通信トラフィックを大幅に削減し,最先端のアプローチよりもはるかに高いモデル精度を達成できることを実証した。
論文参考訳（メタデータ） (2023-05-10T13:12:07Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。 PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
論文参考訳（メタデータ） (2023-02-13T19:00:37Z)
Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。本稿では,フェデレートラーニングのための並列適応器を提案する。
論文参考訳（メタデータ） (2023-02-06T17:30:33Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)
Federated learning with hierarchical clustering of local updates to improve training on non-IID data [3.3517146652431378]
一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。 FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
論文参考訳（メタデータ） (2020-04-24T15:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。