論文の概要: PromptFL: Let Federated Participants Cooperatively Learn Prompts Instead of Models -- Federated Learning in Age of Foundation Model

• arxiv url: http://arxiv.org/abs/2208.11625v1
• Date: Wed, 24 Aug 2022 15:50:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-25 13:11:05.787987
• Title: PromptFL: Let Federated Participants Cooperatively Learn Prompts Instead of Models -- Federated Learning in Age of Foundation Model
• Title（参考訳）: promptfl: フェデレーション参加者に,モデルではなくプロンプトを共同学習させてください -- 基礎モデル時代のフェデレーション学習
• Authors: Tao Guo, Song Guo, Junxiao Wang, Wenchao Xu
• Abstract要約: 本稿では,新しいFLフレームワークであるPromptFLを提案する。 PromptFLは市販のFM、すなわちCLIPを、共有ソフトプロンプトを共同で訓練する分散クライアントに出荷する。 本稿では,PromptFLを広範囲な実験により実証的に分析し,システムの実現性,ユーザプライバシ,パフォーマンスの面でその優位性を示す。
• 参考スコア（独自算出の注目度）: 23.916918530195826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quick global aggregation of effective distributed parameters is crucial to federated learning (FL), which requires adequate bandwidth for parameters communication and sufficient user data for local training. Otherwise, FL may cost excessive training time for convergence and produce inaccurate models. In this paper, we propose a brand-new FL framework, PromptFL, that replaces the federated model training with the federated prompt training, i.e., let federated participants train prompts instead of a shared model, to simultaneously achieve the efficient global aggregation and local training on insufficient data by exploiting the power of foundation models (FM) in a distributed way. PromptFL ships an off-the-shelf FM, i.e., CLIP, to distributed clients who would cooperatively train shared soft prompts based on very few local data. Since PromptFL only needs to update the prompts instead of the whole model, both the local training and the global aggregation can be significantly accelerated. And FM trained over large scale data can provide strong adaptation capability to distributed users tasks with the trained soft prompts. We empirically analyze the PromptFL via extensive experiments, and show its superiority in terms of system feasibility, user privacy, and performance.
• Abstract（参考訳）: 効果的な分散パラメータの迅速なグローバル集約は、パラメータ通信に十分な帯域幅と、ローカルトレーニングに十分なユーザデータを必要とするフェデレーション学習(FL)に不可欠である。 そうでなければ、FLは収束と不正確なモデルの生成に過剰な訓練時間を要する可能性がある。 本稿では,新しいFLフレームワークであるPromptFLを提案する。このフレームワークは,フェデレートされたモデルトレーニングをフェデレーションされたプロンプトトレーニングに置き換えるもので,フェデレーションされた参加者が,共有モデルの代わりにトレーニングプロンプトを付与することで,ファンデーションモデル(FM)のパワーを分散的に活用することで,効率的なグローバルアグリゲーションとローカルトレーニングを実現する。 PromptFLは市販のFM、すなわちCLIPを、ごく少数のローカルデータに基づいて共有ソフトプロンプトを共同で訓練する分散クライアントに出荷する。 PromptFLは、モデル全体ではなくプロンプトを更新する必要があるため、ローカルトレーニングとグローバルアグリゲーションの両方が大幅に加速できる。 そして、大規模データで訓練されたFMは、訓練されたソフトプロンプトで分散ユーザタスクに強力な適応機能を提供する。 実験によりPromptFLを実証的に分析し,システムの実現性,ユーザプライバシ,パフォーマンスの面で優位性を示す。

関連論文リスト

• CELLM: An Efficient Communication in Large Language Models Training for Federated Learning [0.0]
  本論文は,フェデレートラーニング(FL)における大規模言語モデル(LLM)の効率的な学習手法の開発を目的とする。 まず,ローランク適応(LoRA)を用いて局所モデルトレーニングの計算負荷を削減する。 第2に、コミュニケーションコストを大幅に削減するために、トレーニング全体を通してスパース更新を通信します。
  論文  参考訳（メタデータ） (2024-07-30T05:24:08Z)
• Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
  フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。 我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。 実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-21T13:19:29Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Federated Robustness Propagation: Sharing Adversarial Robustness in Federated Learning [98.05061014090913]
  フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。 敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。 既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。 本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
  論文  参考訳（メタデータ） (2021-06-18T15:52:33Z)
• Semi-Federated Learning [4.897245729430157]
  フェデレートラーニング(FL)は、大規模な分散情報通信技術(ICT)デバイスが、参加者が自身のデータを中央サーバに公開することなく、グローバルコンセンサスモデルを学習できるようにする。 本稿では,ローカルクライアントクラスタリングとクラスタ内トレーニングという2つの面でFLとは異なるセミフェデレートラーニング(セミFL)を提案する。 提案するSemi-FLは、将来のモバイル通信ネットワークに容易に適用でき、アップリンク伝送帯域を少なくすることができる。
  論文  参考訳（メタデータ） (2020-03-28T14:08:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。