論文の概要: A Survey on Efficient Federated Learning Methods for Foundation Model
Training
- arxiv url: http://arxiv.org/abs/2401.04472v2
- Date: Wed, 7 Feb 2024 08:33:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 19:08:27.453433
- Title: A Survey on Efficient Federated Learning Methods for Foundation Model
Training
- Title(参考訳): 基礎モデル学習における効果的なフェデレーション学習手法の検討
- Authors: Herbert Woisetschl\"ager, Alexander Isenko, Shiqiang Wang, Ruben
Mayer, Hans-Arno Jacobsen
- Abstract要約: フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
- 参考スコア(独自算出の注目度): 66.19763977571114
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Learning (FL) has become an established technique to facilitate
privacy-preserving collaborative training across a multitude of clients.
However, new approaches to FL often discuss their contributions involving small
deep-learning models only and focus on training full models on clients. In the
wake of Foundation Models (FM), the reality is different for many deep learning
applications. Typically, FMs have already been pre-trained across a wide
variety of tasks and can be fine-tuned to specific downstream tasks over
significantly smaller datasets than required for full model training. However,
access to such datasets is often challenging. By its design, FL can help to
open data silos. With this survey, we introduce a novel taxonomy focused on
computational and communication efficiency, the vital elements to make use of
FMs in FL systems. We discuss the benefits and drawbacks of parameter-efficient
fine-tuning (PEFT) for FL applications, elaborate on the readiness of FL
frameworks to work with FMs and provide future research opportunities on how to
evaluate generative models in FL as well as the interplay of privacy and PEFT.
- Abstract(参考訳): フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
しかしながら、flに対する新たなアプローチでは、小さなディープラーニングモデルのみに関わる貢献を議論し、フルモデルのクライアントへのトレーニングに注力することが多い。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
通常、FMはすでに様々なタスクで事前トレーニングされており、完全なモデルトレーニングよりもはるかに小さなデータセットで特定の下流タスクに微調整することができる。
しかし、このようなデータセットへのアクセスはしばしば困難である。
その設計上、FLはデータサイロを開くのに役立つ。
本稿では,flシステムにおけるfms活用のための重要な要素である計算・通信効率に着目した新しい分類法を提案する。
本稿では、FLアプリケーションにおけるパラメータ効率細調整(PEFT)の利点と欠点について論じ、FLフレームワークのFM対応性について詳しく検討し、FLにおける生成モデルの評価方法や、プライバシとPEFTの相互運用に関する今後の研究機会を提供する。
関連論文リスト
- Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。
LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。
本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
論文 参考訳(メタデータ) (2023-10-12T10:20:36Z) - The Role of Federated Learning in a Wireless World with Foundation
Models [59.8129893837421]
ファンデーションモデル(FM)は汎用人工知能(AI)モデルである。
現在、FMと連邦学習(FL)の相互作用の探索はまだ初期段階にある。
本稿では、FMが無線ネットワークよりもFLに適した範囲について検討し、その研究課題と機会について概観する。
論文 参考訳(メタデータ) (2023-10-06T04:13:10Z) - Federated Foundation Models: Privacy-Preserving and Collaborative
Learning for Large Models [9.198799314774437]
我々は、FMとFederated Learning(FL)の利点を組み合わせたFFM(Federated Foundation Models)パラダイムを提案する。
我々は,FMの寿命にFLを組み込むことの潜在的なメリットと課題について論じ,事前学習,微調整,応用について論じる。
エッジでの計算能力の増大は、データソースに近い新たに生成されたプライベートデータを用いてFMを最適化する可能性を解き放つ可能性があるため、FFMにおける連続的・長期学習の可能性を探る。
論文 参考訳(メタデータ) (2023-05-19T03:51:59Z) - Federated Learning from Pre-Trained Models: A Contrastive Learning
Approach [43.893267526525904]
Federated Learning(FL)は、分散型クライアントがプライベートデータを共有せずに協調的に学習できる機械学習パラダイムである。
過剰な計算と通信要求は、現在のFLフレームワークに課題をもたらす。
本稿では、クライアントが複数の固定された事前学習モデルによって生成された表現を融合させることを共同で学習する軽量フレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-21T03:16:57Z) - PromptFL: Let Federated Participants Cooperatively Learn Prompts Instead
of Models -- Federated Learning in Age of Foundation Model [23.916918530195826]
本稿では,新しいFLフレームワークであるPromptFLを提案する。
PromptFLは市販のFM、すなわちCLIPを、共有ソフトプロンプトを共同で訓練する分散クライアントに出荷する。
本稿では,PromptFLを広範囲な実験により実証的に分析し,システムの実現性,ユーザプライバシ,パフォーマンスの面でその優位性を示す。
論文 参考訳(メタデータ) (2022-08-24T15:50:58Z) - On the Importance and Applicability of Pre-Training for Federated
Learning [28.238484580662785]
我々は,連合学習のための事前学習を体系的に研究する。
事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。
本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
論文 参考訳(メタデータ) (2022-06-23T06:02:33Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳(メタデータ) (2022-02-16T13:03:27Z) - A Multi-agent Reinforcement Learning Approach for Efficient Client
Selection in Federated Learning [17.55163940659976]
Federated Learning(FL)は、クライアントデバイスが共有モデルを共同で学習することを可能にするトレーニングテクニックである。
モデル精度、処理遅延、通信効率を協調的に最適化する効率的なFLフレームワークを設計する。
実験により、FedMarlは処理遅延と通信コストを大幅に削減して、モデルの精度を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2022-01-09T05:55:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。