論文の概要: SalientGrads: Sparse Models for Communication Efficient and Data Aware
Distributed Federated Training
- arxiv url: http://arxiv.org/abs/2304.07488v1
- Date: Sat, 15 Apr 2023 06:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 18:54:35.559028
- Title: SalientGrads: Sparse Models for Communication Efficient and Data Aware
Distributed Federated Training
- Title（参考訳）: salientgrads: コミュニケーション効率とデータ認識型分散フェデレーショントレーニングのためのスパースモデル
- Authors: Riyasat Ohib, Bishal Thapaliya, Pratyush Gaggenapalli, Jingyu Liu,
Vince Calhoun, Sergey Plis
- Abstract要約: フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。
FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。
本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
- 参考スコア（独自算出の注目度）: 1.0413504599164103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables the training of a model leveraging
decentralized data in client sites while preserving privacy by not collecting
data. However, one of the significant challenges of FL is limited computation
and low communication bandwidth in resource limited edge client nodes. To
address this, several solutions have been proposed in recent times including
transmitting sparse models and learning dynamic masks iteratively, among
others. However, many of these methods rely on transmitting the model weights
throughout the entire training process as they are based on ad-hoc or random
pruning criteria. In this work, we propose Salient Grads, which simplifies the
process of sparse training by choosing a data aware subnetwork before training,
based on the model-parameter's saliency scores, which is calculated from the
local client data. Moreover only highly sparse gradients are transmitted
between the server and client models during the training process unlike most
methods that rely on sharing the entire dense model in each round. We also
demonstrate the efficacy of our method in a real world federated learning
application and report improvement in wall-clock communication time.
- Abstract（参考訳）: フェデレーション学習(fl)は、データを収集しないプライバシを維持しながら、クライアントサイトにおける分散データを活用するモデルのトレーニングを可能にする。
しかしながら、flの重要な課題の1つは、リソース制限されたエッジクライアントノードでの計算の制限と通信帯域の低さである。
これに対処するため、近年、スパースモデルの送信や動的マスクの反復学習など、いくつかのソリューションが提案されている。
しかしながら、これらの手法の多くは、アドホックまたはランダムプルーニング基準に基づいてトレーニングプロセス全体を通してモデルの重みを伝達することに依存している。
本研究では,salient gradsを提案する。salient gradsは,ローカルクライアントデータから算出したモデルパラメータのsaliencyスコアに基づいて,トレーニング前のデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを単純化する。
さらに、トレーニングプロセス中にサーバモデルとクライアントモデルの間で非常に疎い勾配だけが送信されます。
また,本手法の有効性を実世界連合学習アプリケーションで実証し,壁時計通信時間の改善を報告した。
関連論文リスト
- Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。
本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文 参考訳（メタデータ） (2024-06-03T08:48:49Z) - HierSFL: Local Differential Privacy-aided Split Federated Learning in
Mobile Edge Computing [7.180235086275924]
フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。
Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。
この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。
我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
論文 参考訳（メタデータ） (2024-01-16T09:34:10Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Federated Learning on Non-iid Data via Local and Global Distillation [25.397058380098816]
我々は,FedND:Federated Learning with noise distillationを提案する。
クライアントでは,局所モデルを学習するための自己蒸留法を提案する。
サーバでは、各クライアントに対してノイズの多いサンプルを生成し、それを他のクライアントを蒸留するために使用します。
実験結果から,このアルゴリズムは最先端の手法よりも通信効率がよいことがわかった。
論文 参考訳（メタデータ） (2023-06-26T06:14:01Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - One-shot Federated Learning without Server-side Training [42.59845771101823]
クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。
既存のワンショットFL法のほとんどは知識蒸留に基づいているが、蒸留に基づくアプローチでは追加のトレーニングフェーズが必要であり、公開されているデータセットや生成された擬似サンプルに依存する。
本研究では,サーバサイドのトレーニングなしで,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,新しいクロスサイロ設定について考察する。
論文 参考訳（メタデータ） (2022-04-26T01:45:37Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - A Personalized Federated Learning Algorithm: an Application in Anomaly
Detection [0.6700873164609007]
フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。
FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。
本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
論文 参考訳（メタデータ） (2021-11-04T04:57:11Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - On the Convergence Time of Federated Learning Over Wireless Networks
Under Imperfect CSI [28.782485580296374]
チャネル統計をバイアスとして,不完全なcsi下での収束時間を最小化するトレーニングプロセスを提案する。
また,学習過程に関わるクライアント数とモデル精度とのトレードオフを,異なる失明状態の関数として検討した。
論文 参考訳（メタデータ） (2021-04-01T08:30:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。