論文の概要: Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning

• arxiv url: http://arxiv.org/abs/2310.04627v1
• Date: Fri, 6 Oct 2023 23:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 17:19:50.404278
• Title: Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning
• Title（参考訳）: 利益:フェデレーション・プロンプト・チューニングにおけるパーソナライゼーションとロバスト性トレードオフ
• Authors: Liam Collins, Shanshan Wu, Sewoong Oh, Khe Chai Sim
• Abstract要約: フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。 フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
• 参考スコア（独自算出の注目度）: 40.16581292336117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many applications of federated learning (FL), clients desire models that are personalized using their local data, yet are also robust in the sense that they retain general global knowledge. However, the presence of data heterogeneity across clients induces a fundamental trade-off between personalization (i.e., adaptation to a local distribution) and robustness (i.e., not forgetting previously learned general knowledge). It is critical to understand how to navigate this personalization vs robustness trade-off when designing federated systems, which are increasingly moving towards a paradigm of fine-tuning large foundation models. Due to limited computational and communication capabilities in most federated settings, this foundation model fine-tuning must be done using parameter-efficient fine-tuning (PEFT) approaches. While some recent work has studied federated approaches to PEFT, the personalization vs robustness trade-off of federated PEFT has been largely unexplored. In this work, we take a step towards bridging this gap by benchmarking fundamental FL algorithms -- FedAvg and FedSGD plus personalization (via client local fine-tuning) -- applied to one of the most ubiquitous PEFT approaches to large language models (LLMs) -- prompt tuning -- in a multitude of hyperparameter settings under varying levels of data heterogeneity. Our results show that federated-trained prompts can be surprisingly robust when using a small learning rate with many local epochs for personalization, especially when using an adaptive optimizer as the client optimizer during federated training. We also demonstrate that simple approaches such as adding regularization and interpolating two prompts are effective in improving the personalization vs robustness trade-off in computation-limited settings with few local updates allowed for personalization.
• Abstract（参考訳）: フェデレーション学習(fl)の多くのアプリケーションでは、クライアントはローカルデータを使用してパーソナライズされたモデルを求めるが、全体的な知識を保持するという意味でも堅牢である。 しかしながら、クライアント間のデータの不均一性の存在は、パーソナライズ(ローカルディストリビューションへの適応)と堅牢性(つまり、以前に学んだ一般的な知識を忘れない)との根本的なトレードオフを引き起こす。 このパーソナライゼーションとロバストネスのトレードオフをどうナビゲートするかを理解することは、フェデレーションシステムの設計において重要である。 ほとんどのフェデレートされた環境での計算能力と通信能力に制限があるため、この基礎モデルはパラメータ効率の良い微調整(PEFT)アプローチで行う必要がある。 最近の研究でpeftへのフェデレーションアプローチが研究されているが、フェデレーションpeftのパーソナライゼーションとロバスト性トレードオフは、ほとんど解明されていない。 本研究では,FedAvgアルゴリズムとFedSGDアルゴリズムとパーソナライズ(クライアントの局所的な微調整による)を,大規模言語モデル(LLM)に対する最もユビキタスなPEFTアプローチの1つに適用することで,このギャップを埋めるための一歩を踏み出した。 その結果,フェデレーショントレーニング中の最適化オプティマイザをクライアントオプティマイザとして使用する場合,パーソナライズに多数の局所的エポックを持つ小さな学習レートを使用する場合,フェデレーション学習プロンプトは驚くほど頑健であることが判明した。 また、正規化の追加や2つのプロンプトの補間といった単純なアプローチは、パーソナライズを許すローカルアップデートが少ない計算制限設定におけるパーソナライズとロバスト性トレードオフを改善するのに有効であることを実証する。

関連論文リスト

• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
  FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。 我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。 我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Privacy Preserving Bayesian Federated Learning in Heterogeneous Settings [20.33482170846688]
  本稿では,大規模なローカルデータセットがなくても,カスタマイズされたローカルベイズモデルに基づく統合学習フレームワークを提案する。 ネットワークの機能的(アウトプット)空間における事前情報を用いて、異種クライアント間のコラボレーションを容易にする。 標準FLデータセットを用いた実験により、同種および異種両方の設定において、我々のアプローチが強いベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-13T17:55:30Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization [6.66389628571674]
  フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。 本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。 PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-02T08:07:34Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。