論文の概要: Efficient and Light-Weight Federated Learning via Asynchronous
Distributed Dropout
- arxiv url: http://arxiv.org/abs/2210.16105v1
- Date: Fri, 28 Oct 2022 13:00:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 15:58:19.271269
- Title: Efficient and Light-Weight Federated Learning via Asynchronous
Distributed Dropout
- Title(参考訳): 非同期分散ドロップアウトによる効率的かつ軽量なフェデレーション学習
- Authors: Chen Dun, Mirian Hipolito, Chris Jermaine, Dimitrios Dimitriadis,
Anastasios Kyrillidis
- Abstract要約: 非同期学習プロトコルは最近、特にフェデレートラーニング(FL)設定において注目を集めている。
分散環境でデバイスの不均一性を処理するためにドロップアウト正規化を利用する新しい非同期FLフレームワークである textttAsyncDrop を提案する。
全体として、textttAsyncDropは、最先端の非同期メソッドと比較してパフォーマンスが向上する。
- 参考スコア(独自算出の注目度): 22.584080337157168
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Asynchronous learning protocols have regained attention lately, especially in
the Federated Learning (FL) setup, where slower clients can severely impede the
learning process. Herein, we propose \texttt{AsyncDrop}, a novel asynchronous
FL framework that utilizes dropout regularization to handle device
heterogeneity in distributed settings. Overall, \texttt{AsyncDrop} achieves
better performance compared to state of the art asynchronous methodologies,
while resulting in less communication and training time overheads. The key idea
revolves around creating ``submodels'' out of the global model, and
distributing their training to workers, based on device heterogeneity. We
rigorously justify that such an approach can be theoretically characterized. We
implement our approach and compare it against other asynchronous baselines,
both by design and by adapting existing synchronous FL algorithms to
asynchronous scenarios. Empirically, \texttt{AsyncDrop} reduces the
communication cost and training time, while matching or improving the final
test accuracy in diverse non-i.i.d. FL scenarios.
- Abstract(参考訳): 非同期学習プロトコルは最近注目を集めており、特にフェデレートラーニング(FL)では、遅いクライアントが学習プロセスに悪影響を及ぼす可能性がある。
本稿では,分散型設定におけるデバイスの不均一性を扱うためにドロップアウト正規化を利用する新しい非同期FLフレームワークである‘texttt{AsyncDrop} を提案する。
全体として、‘texttt{AsyncDrop} は、最先端の非同期メソッドと比較してパフォーマンスが良く、通信やトレーニング時間のオーバーヘッドも少なくなります。
重要なアイデアは、グローバルモデルから‘サブモデル’を作成し、デバイスの不均一性に基づいたトレーニングをワーカーに配布することにある。
我々はそのようなアプローチが理論的に特徴づけられることを厳格に正当化する。
我々は、既存の同期flアルゴリズムを非同期シナリオに適用することで、このアプローチを実装し、他の非同期ベースラインと比較する。
実証的に、‘texttt{AsyncDrop} は通信コストと訓練時間を削減し、また様々な非I.D. FLシナリオにおける最終テスト精度をマッチングまたは改善する。
関連論文リスト
- Momentum Approximation in Asynchronous Private Federated Learning [26.57367597853813]
運動量近似は、運動量を持つ既存のFLと比較すると、収束速度が1.15のテクスム−-4タイムで達成できる。
モメンタム近似は、小さな通信とストレージコストで、実運用FLシステムに容易に統合できる。
論文 参考訳(メタデータ) (2024-02-14T15:35:53Z) - AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳(メタデータ) (2023-12-18T05:18:17Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳(メタデータ) (2023-05-04T09:26:03Z) - Scheduling and Aggregation Design for Asynchronous Federated Learning
over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。
FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。
年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文 参考訳(メタデータ) (2022-12-14T17:33:01Z) - Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。
提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
論文 参考訳(メタデータ) (2022-04-26T16:37:29Z) - From Deterioration to Acceleration: A Calibration Approach to
Rehabilitating Step Asynchronism in Federated Optimization [13.755421424240048]
我々は,局所的な方向を予測的グローバルな方向に調整する新しいアルゴリズムであるtexttFedaGracを提案する。
理論的には、texttFedaGrac は最先端のアプローチよりも収束率の向上を証明している。
論文 参考訳(メタデータ) (2021-12-17T07:26:31Z) - Blockchain-enabled Server-less Federated Learning [5.065631761462706]
我々は、(BC)技術によって強化された非同期サーバーレスフェデレートラーニングソリューションに焦点を当てる。
主に採用されているFLアプローチとは対照的に、クライアントがローカル更新を送信する際にモデルアグリゲーションを行う非同期手法を提唱する。
論文 参考訳(メタデータ) (2021-12-15T07:41:23Z) - Device Scheduling and Update Aggregation Policies for Asynchronous
Federated Learning [72.78668894576515]
Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。
本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-23T18:57:08Z) - Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with
Delayed Gradients [21.63719641718363]
フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。
本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
論文 参考訳(メタデータ) (2021-02-12T02:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。