論文の概要: Exploring Parameter-Efficient Fine-tuning for Improving Communication
Efficiency in Federated Learning
- arxiv url: http://arxiv.org/abs/2210.01708v1
- Date: Tue, 4 Oct 2022 16:08:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 13:39:36.800065
- Title: Exploring Parameter-Efficient Fine-tuning for Improving Communication
Efficiency in Federated Learning
- Title(参考訳): フェデレーション学習におけるコミュニケーション効率向上のためのパラメータ効率の良いファインタニングの探索
- Authors: Guangyu Sun, Matias Mendieta, Taojiannan Yang, Chen Chen
- Abstract要約: フェデレート学習におけるパラメータ効率向上のための微調整法について検討する。
モデル重みのごく一部を共有することで、全体の通信オーバーヘッドを大幅に削減することができる。
- 参考スコア(独自算出の注目度): 14.372498017434046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has emerged as a promising paradigm for enabling the
collaborative training of models without centralized access to the raw data on
local devices. In the typical FL paradigm (e.g., FedAvg), model weights are
sent to and from the server each round to participating clients. However, this
can quickly put a massive communication burden on the system, especially if
more capable models beyond very small MLPs are employed. Recently, the use of
pre-trained models has been shown effective in federated learning optimization
and improving convergence. This opens the door for new research questions. Can
we adjust the weight-sharing paradigm in federated learning, leveraging strong
and readily-available pre-trained models, to significantly reduce the
communication burden while simultaneously achieving excellent performance? To
this end, we investigate the use of parameter-efficient fine-tuning in
federated learning. Specifically, we systemically evaluate the performance of
several parameter-efficient fine-tuning methods across a variety of client
stability, data distribution, and differential privacy settings. By only
locally tuning and globally sharing a small portion of the model weights,
significant reductions in the total communication overhead can be achieved
while maintaining competitive performance in a wide range of federated learning
scenarios, providing insight into a new paradigm for practical and effective
federated systems.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、ローカルデバイス上の生データへの集中的なアクセスなしにモデルの協調的なトレーニングを可能にする、有望なパラダイムとして登場した。
典型的なflパラダイム(例えばfedavg)では、モデルウェイトは各ラウンドをサーバから参加者クライアントに送信される。
しかし、特に非常に小さなMLPを超える能力のあるモデルが採用されれば、システムに膨大な通信負荷がかかる可能性がある。
近年,事前学習モデルの使用は,フェデレート学習最適化と収束性向上に有効であることが示されている。
これは新たな研究課題の扉を開く。
連合学習における重みの共有パラダイムを、強力で容易に利用できる事前学習モデルを活用して調整して、優れたパフォーマンスを実現すると同時に、コミュニケーション負担を大幅に軽減できるだろうか?
そこで本研究では,フェデレーション学習におけるパラメータ効率の良い微調整法について検討する。
具体的には、様々なクライアント安定性、データ分散、および差分プライバシー設定におけるパラメータ効率の高い微調整手法の性能を体系的に評価する。
モデル重みのごく一部を局所的にチューニングし、グローバルに共有することで、幅広いフェデレート学習シナリオにおける競争性能を維持しながら、全体の通信オーバーヘッドを大幅に削減し、実用的で効果的なフェデレーションシステムのための新しいパラダイムに関する洞察を提供することができる。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal
Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。
Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。
その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-08-21T21:57:01Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - Federated Pruning: Improving Neural Network Efficiency with Federated
Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。
異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文 参考訳(メタデータ) (2022-09-14T00:48:37Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - A Multi-agent Reinforcement Learning Approach for Efficient Client
Selection in Federated Learning [17.55163940659976]
Federated Learning(FL)は、クライアントデバイスが共有モデルを共同で学習することを可能にするトレーニングテクニックである。
モデル精度、処理遅延、通信効率を協調的に最適化する効率的なFLフレームワークを設計する。
実験により、FedMarlは処理遅延と通信コストを大幅に削減して、モデルの精度を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2022-01-09T05:55:17Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2021-08-30T15:39:54Z) - Communication-Efficient Federated Learning with Dual-Side Low-Rank
Compression [8.353152693578151]
Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。
両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。
我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
論文 参考訳(メタデータ) (2021-04-26T09:13:31Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。