論文の概要: AugFL: Augmenting Federated Learning with Pretrained Models
- arxiv url: http://arxiv.org/abs/2503.02154v1
- Date: Tue, 04 Mar 2025 00:37:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:21:16.001792
- Title: AugFL: Augmenting Federated Learning with Pretrained Models
- Title（参考訳）: AugFL: 事前学習モデルによるフェデレーション学習の拡大
- Authors: Sheng Yue, Zerui Qin, Yongheng Deng, Ju Ren, Yaoxue Zhang, Junshan Zhang,
- Abstract要約: フェデレートラーニング(FL)は近年広く関心を集めている。
本稿では,中央サーバと分散クライアントによるネットワークFLシステムについて考察する。
- 参考スコア（独自算出の注目度）: 35.42275317522609
- License:
- Abstract: Federated Learning (FL) has garnered widespread interest in recent years. However, owing to strict privacy policies or limited storage capacities of training participants such as IoT devices, its effective deployment is often impeded by the scarcity of training data in practical decentralized learning environments. In this paper, we study enhancing FL with the aid of (large) pre-trained models (PMs), that encapsulate wealthy general/domain-agnostic knowledge, to alleviate the data requirement in conducting FL from scratch. Specifically, we consider a networked FL system formed by a central server and distributed clients. First, we formulate the PM-aided personalized FL as a regularization-based federated meta-learning problem, where clients join forces to learn a meta-model with knowledge transferred from a private PM stored at the server. Then, we develop an inexact-ADMM-based algorithm, AugFL, to optimize the problem with no need to expose the PM or incur additional computational costs to local clients. Further, we establish theoretical guarantees for AugFL in terms of communication complexity, adaptation performance, and the benefit of knowledge transfer in general non-convex cases. Extensive experiments corroborate the efficacy and superiority of AugFL over existing baselines.
- Abstract（参考訳）: フェデレートラーニング(FL)は近年広く関心を集めている。
しかしながら、厳格なプライバシポリシやIoTデバイスなどのトレーニング参加者のストレージ容量の制限により、その効果的なデプロイメントは、実践的な分散学習環境におけるトレーニングデータの不足によって妨げられることが多い。
本稿では、FLをスクラッチから実行する際のデータ要求を軽減するために、富裕な一般/ドメインに依存しない知識をカプセル化した(大規模な)事前学習モデル(PM)の助けを借りてFLの強化について検討する。
具体的には,中央サーバと分散クライアントによるネットワークFLシステムについて検討する。
まず、PM支援のパーソナライズされたFLを、正規化に基づく連邦化メタラーニング問題として定式化し、クライアントがサーバに格納されたプライベートPMから、知識を伝達したメタモデルを学ぶ。
そこで我々は,PMを公開したり,ローカルクライアントに余分な計算コストをかけたりすることなく,この問題を最適化するために,不正確なADMMベースのアルゴリズムであるAugFLを開発した。
さらに、AugFLの通信複雑性、適応性能、および一般の非凸ケースにおける知識伝達の利点の観点から理論的保証を確立する。
大規模な実験は、既存のベースラインよりもAugFLの有効性と優位性を裏付ける。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
フェデレートラーニング(FL)がIoT(Internet of Things)で大人気
FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。
その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-15T10:13:44Z) - FedDBL: Communication and Data Efficient Federated Deep-Broad Learning
for Histopathological Tissue Classification [65.7405397206767]
本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。
FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。
異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
論文 参考訳（メタデータ） (2023-02-24T14:27:41Z) - On the Design of Communication-Efficient Federated Learning for Health
Monitoring [21.433739206682404]
本稿では,クライアントクラスタリングと伝達学習を含む通信効率のよいフェデレーション学習(CEFL)フレームワークを提案する。
CEFLは従来のFLと比較して、通信コストを最大98.45%削減でき、精度損失は3%未満である。
論文 参考訳（メタデータ） (2022-11-30T12:52:23Z) - Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。
マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。
VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
論文 参考訳（メタデータ） (2022-07-20T23:14:33Z) - On the Importance and Applicability of Pre-Training for Federated
Learning [28.238484580662785]
我々は,連合学習のための事前学習を体系的に研究する。
事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。
本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
論文 参考訳（メタデータ） (2022-06-23T06:02:33Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - FedComm: Federated Learning as a Medium for Covert Communication [56.376997104843355]
フェデレートラーニング(FL)は、ディープラーニングの採用に伴うプライバシーへの影響を軽減するためのソリューションである。
本稿では,FL方式の通信能力について詳しく検討する。
我々は,新しいマルチシステム被覆通信技術であるFedCommを紹介する。
論文 参考訳（メタデータ） (2022-01-21T17:05:56Z) - Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。
一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。
本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
論文 参考訳（メタデータ） (2020-05-26T12:27:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。