論文の概要: Exploring Parameter-Efficient Fine-tuning for Improving Communication
Efficiency in Federated Learning
- arxiv url: http://arxiv.org/abs/2210.01708v1
- Date: Tue, 4 Oct 2022 16:08:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 13:39:36.800065
- Title: Exploring Parameter-Efficient Fine-tuning for Improving Communication
Efficiency in Federated Learning
- Title（参考訳）: フェデレーション学習におけるコミュニケーション効率向上のためのパラメータ効率の良いファインタニングの探索
- Authors: Guangyu Sun, Matias Mendieta, Taojiannan Yang, Chen Chen
- Abstract要約: フェデレート学習におけるパラメータ効率向上のための微調整法について検討する。
モデル重みのごく一部を共有することで、全体の通信オーバーヘッドを大幅に削減することができる。
- 参考スコア（独自算出の注目度）: 14.372498017434046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has emerged as a promising paradigm for enabling the
collaborative training of models without centralized access to the raw data on
local devices. In the typical FL paradigm (e.g., FedAvg), model weights are
sent to and from the server each round to participating clients. However, this
can quickly put a massive communication burden on the system, especially if
more capable models beyond very small MLPs are employed. Recently, the use of
pre-trained models has been shown effective in federated learning optimization
and improving convergence. This opens the door for new research questions. Can
we adjust the weight-sharing paradigm in federated learning, leveraging strong
and readily-available pre-trained models, to significantly reduce the
communication burden while simultaneously achieving excellent performance? To
this end, we investigate the use of parameter-efficient fine-tuning in
federated learning. Specifically, we systemically evaluate the performance of
several parameter-efficient fine-tuning methods across a variety of client
stability, data distribution, and differential privacy settings. By only
locally tuning and globally sharing a small portion of the model weights,
significant reductions in the total communication overhead can be achieved
while maintaining competitive performance in a wide range of federated learning
scenarios, providing insight into a new paradigm for practical and effective
federated systems.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、ローカルデバイス上の生データへの集中的なアクセスなしにモデルの協調的なトレーニングを可能にする、有望なパラダイムとして登場した。
典型的なflパラダイム(例えばfedavg)では、モデルウェイトは各ラウンドをサーバから参加者クライアントに送信される。
しかし、特に非常に小さなMLPを超える能力のあるモデルが採用されれば、システムに膨大な通信負荷がかかる可能性がある。
近年,事前学習モデルの使用は,フェデレート学習最適化と収束性向上に有効であることが示されている。
これは新たな研究課題の扉を開く。
連合学習における重みの共有パラダイムを、強力で容易に利用できる事前学習モデルを活用して調整して、優れたパフォーマンスを実現すると同時に、コミュニケーション負担を大幅に軽減できるだろうか?
そこで本研究では,フェデレーション学習におけるパラメータ効率の良い微調整法について検討する。
具体的には、様々なクライアント安定性、データ分散、および差分プライバシー設定におけるパラメータ効率の高い微調整手法の性能を体系的に評価する。
モデル重みのごく一部を局所的にチューニングし、グローバルに共有することで、幅広いフェデレート学習シナリオにおける競争性能を維持しながら、全体の通信オーバーヘッドを大幅に削減し、実用的で効果的なフェデレーションシステムのための新しいパラダイムに関する洞察を提供することができる。
関連論文リスト
- Local Superior Soups: A Catalyst for Model Merging in Cross-Silo Federated Learning [33.88701368538447]
我々は「ローカル・スーパー・スープ」と呼ばれる革新的モデルに基づくローカル・トレーニング手法を提案する。
提案手法は, 異なるクライアント間でのローカルトレーニングを強化し, 接続された低損失盆地の探索を奨励する。
広範に使われているFLデータセットにまたがって,その有効性と効率を実証した。
論文 参考訳（メタデータ） (2024-10-31T06:20:17Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳（メタデータ） (2023-05-24T13:52:18Z) - Federated Learning from Pre-Trained Models: A Contrastive Learning
Approach [43.893267526525904]
Federated Learning(FL)は、分散型クライアントがプライベートデータを共有せずに協調的に学習できる機械学習パラダイムである。
過剰な計算と通信要求は、現在のFLフレームワークに課題をもたらす。
本稿では、クライアントが複数の固定された事前学習モデルによって生成された表現を融合させることを共同で学習する軽量フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-21T03:16:57Z) - FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale
Neural Networks through Federated Learning [18.357577491590686]
本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。
FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。
実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
論文 参考訳（メタデータ） (2022-08-10T06:36:49Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳（メタデータ） (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。