論文の概要: Communication-Efficient and Personalized Federated Lottery Ticket Learning

• arxiv url: http://arxiv.org/abs/2104.12501v1
• Date: Mon, 26 Apr 2021 12:01:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 14:18:40.226114
• Title: Communication-Efficient and Personalized Federated Lottery Ticket Learning
• Title（参考訳）: コミュニケーション効率と個人化によるロッキーチケット学習
• Authors: Sejin Seo, Seung-Woo Ko, Jihong Park, Seong-Lyun Kim, and Mehdi Bennis
• Abstract要約: 宝くじ仮説では、ディープニューラルネットワーク(すなわちグラウンドネットワーク)には多数のワークス(すなわち当選チケット)が含まれていると主張している。 通信効率向上のためにダウンリンクブロードキャストを利用したパーソナライズされたコミュニケーション効率の高いフェデレーション宝くじ学習アルゴリズムCELLを提案します。
• 参考スコア（独自算出の注目度）: 44.593986790651805
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The lottery ticket hypothesis (LTH) claims that a deep neural network (i.e., ground network) contains a number of subnetworks (i.e., winning tickets), each of which exhibiting identically accurate inference capability as that of the ground network. Federated learning (FL) has recently been applied in LotteryFL to discover such winning tickets in a distributed way, showing higher accuracy multi-task learning than Vanilla FL. Nonetheless, LotteryFL relies on unicast transmission on the downlink, and ignores mitigating stragglers, questioning scalability. Motivated by this, in this article we propose a personalized and communication-efficient federated lottery ticket learning algorithm, coined CELL, which exploits downlink broadcast for communication efficiency. Furthermore, it utilizes a novel user grouping method, thereby alternating between FL and lottery learning to mitigate stragglers. Numerical simulations validate that CELL achieves up to 3.6% higher personalized task classification accuracy with 4.3x smaller total communication cost until convergence under the CIFAR-10 dataset.
• Abstract（参考訳）: 抽選券仮説(英: lottery ticket hypothesis、LTH)は、ディープニューラルネットワーク(すなわち、地上ネットワーク)は、複数のサブネット(すなわち、勝利チケット)を含み、それぞれが地上ネットワークと同一正確な推論能力を示すと主張している。 フェデレーテッド・ラーニング(FL)は,最近LotteryFLで導入され,分散方式で,バニラFLよりも高精度なマルチタスク学習を実現している。 それでもLotteryFLはダウンリンク上のユニキャスト送信に依存しており、トラグラーの緩和を無視し、スケーラビリティを疑っている。 そこで,本稿では,ダウンリンク放送を通信効率に活用した,個人化・通信効率の高いフェデレーション抽選チケット学習アルゴリズムであるcoined cellを提案する。 さらに、新規なユーザグループ化手法を利用して、FLと宝くじ学習の交互にストラグラーを緩和する。 数値シミュレーションにより、cifar-10データセットで収束するまでの通信コストは4.3倍小さく、セルは最大3.6%のパーソナライズされたタスク分類精度を達成している。

関連論文リスト

• Revisiting Ensembling in One-Shot Federated Learning [9.02411690527967]
  ワンショットフェデレーション学習(OFL)は、クライアントとサーバ間のモデルの反復的な交換を1ラウンドの通信で交換する。 FLの精度とOFLの通信効率を両立させる新しい連合型アンサンブル方式であるFENSを導入する。 FENSは最先端(SOTA) OFLよりも26.9%高い精度で、FLよりもわずか3.1%低い。
  論文  参考訳（メタデータ） (2024-11-11T17:58:28Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• On the Design of Communication-Efficient Federated Learning for Health Monitoring [21.433739206682404]
  本稿では,クライアントクラスタリングと伝達学習を含む通信効率のよいフェデレーション学習(CEFL)フレームワークを提案する。 CEFLは従来のFLと比較して、通信コストを最大98.45%削減でき、精度損失は3%未満である。
  論文  参考訳（メタデータ） (2022-11-30T12:52:23Z)
• OFedQIT: Communication-Efficient Online Federated Learning via Quantization and Intermittent Transmission [7.6058140480517356]
  オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。 本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。 分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T07:46:43Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets [52.60094373289771]
  フェデレーション学習は、プライバシーを強化した、人気のある分散機械学習パラダイムである。 パーソナライズされたコミュニケーション効率の高いフェデレーション学習フレームワークであるLotteryFLを提案する。 LotteryFLはパーソナライズと通信コストの点で既存のソリューションよりも優れています。
  論文  参考訳（メタデータ） (2020-08-07T20:45:12Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。