論文の概要: FLuID: Mitigating Stragglers in Federated Learning using Invariant
Dropout
- arxiv url: http://arxiv.org/abs/2307.02623v2
- Date: Mon, 10 Jul 2023 22:29:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 17:49:41.782017
- Title: FLuID: Mitigating Stragglers in Federated Learning using Invariant
Dropout
- Title（参考訳）: FLuID:不変ドロップアウトを用いたフェデレーション学習におけるストラグラーの緩和
- Authors: Irene Wang, Prashant J. Nair, Divya Mahajan
- Abstract要約: Federated Learningは、機械学習モデルが個々のモバイルデバイス上でローカルにトレーニングし、共有サーバを介してモデルの更新を同期することを可能にする。
結果として、性能の低いストラグラーデバイスは、FLにおける全体的なトレーニング時間を規定することが多い。
Invariant Dropoutは,重み更新しきい値に基づいてサブモデルを抽出する手法である。
Invariant Dropout を用いた適応学習フレームワークであるFederated Learning を開発した。
- 参考スコア（独自算出の注目度）: 1.8047694351309205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) allows machine learning models to train locally on
individual mobile devices, synchronizing model updates via a shared server.
This approach safeguards user privacy; however, it also generates a
heterogeneous training environment due to the varying performance capabilities
across devices. As a result, straggler devices with lower performance often
dictate the overall training time in FL. In this work, we aim to alleviate this
performance bottleneck due to stragglers by dynamically balancing the training
load across the system. We introduce Invariant Dropout, a method that extracts
a sub-model based on the weight update threshold, thereby minimizing potential
impacts on accuracy. Building on this dropout technique, we develop an adaptive
training framework, Federated Learning using Invariant Dropout (FLuID). FLuID
offers a lightweight sub-model extraction to regulate computational intensity,
thereby reducing the load on straggler devices without affecting model quality.
Our method leverages neuron updates from non-straggler devices to construct a
tailored sub-model for each straggler based on client performance profiling.
Furthermore, FLuID can dynamically adapt to changes in stragglers as runtime
conditions shift. We evaluate FLuID using five real-world mobile clients. The
evaluations show that Invariant Dropout maintains baseline model efficiency
while alleviating the performance bottleneck of stragglers through a dynamic,
runtime approach.
- Abstract（参考訳）: federated learning(fl)は、機械学習モデルを個々のモバイルデバイス上でローカルにトレーニングし、モデル更新を共有サーバ経由で同期可能にする。
このアプローチはユーザのプライバシを保護するが、デバイス間のパフォーマンス能力が異なるため、異種なトレーニング環境も生成する。
その結果、パフォーマンスの低いストラグラーデバイスは、flの全体的なトレーニング時間を決定することが多い。
本研究では,システム全体のトレーニング負荷を動的にバランスさせることにより,トラグラーによるパフォーマンスボトルネックを軽減することを目的とする。
Invariant Dropoutは,重み更新閾値に基づいてサブモデルを抽出し,精度への影響を最小限に抑える手法である。
このドロップアウト技術に基づいて,適応型学習フレームワークであるFederated Learning using Invariant Dropout (FLuID)を開発した。
FLuIDは計算強度を制御し、モデル品質に影響を与えることなくストラグラーデバイスへの負荷を低減する軽量なサブモデル抽出を提供する。
提案手法は,非ストラグラーデバイスからのニューロン更新を利用して,クライアントの性能プロファイルに基づいて,各ストラグラーに適したサブモデルを構築する。
さらに、FLuIDは実行条件が変化するにつれてストラグラーの変化に動的に対応できる。
5つの実世界のモバイルクライアントを用いてFLuIDを評価する。
評価によると、Invariant Dropoutは、動的で実行時のアプローチを通じてストラグラーのパフォーマンスボトルネックを緩和しながら、ベースラインモデルの効率を維持する。
関連論文リスト
- Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Efficient Language Model Architectures for Differentially Private
Federated Learning [21.280600854272716]
クロスデバイス・フェデレーション・ラーニング(Cross-device Federated Learning, FL)は、デバイスを離れることなく、数百万のエッジデバイスに分散したデータ上でモデルをトレーニングするテクニックである。
言語モデルの集中的なトレーニングでは、安定性とパフォーマンスの向上を提供するため、適応が望ましい。
ニューラルリカレントセルにおけるシグモイドとタンハの活性化を修飾することにより、SI CIFG (Coupled Input Forget Gate) 再カレントネットワークを提案する。
論文 参考訳（メタデータ） (2024-03-12T22:21:48Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - DynamicFL: Balancing Communication Dynamics and Client Manipulation for
Federated Learning [6.9138560535971605]
Federated Learning(FL)は、数百万のエッジデバイスにわたる分散データを活用することで、グローバルモデルをトレーニングすることを目的としている。
地理的に分散したエッジデバイスと非常にダイナミックなネットワークが混在していることを考えると、参加するデバイスからすべてのモデル更新を集約すると、FLでは必然的な長期遅延が発生する。
本稿では,クライアント操作戦略を特別に設計した大規模エッジデバイスにおける通信力学とデータ品質を考慮した新しいFLフレームワークであるDynamicFLを提案する。
論文 参考訳（メタデータ） (2023-07-16T19:09:31Z) - MetaNetwork: A Task-agnostic Network Parameters Generation Framework for
Improving Device Model Generalization [65.02542875281233]
そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。
MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。
MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
論文 参考訳（メタデータ） (2022-09-12T13:26:26Z) - Reducing Impacts of System Heterogeneity in Federated Learning using
Weight Update Magnitudes [0.0]
フェデレートされた学習により、機械学習モデルでは、各ハンドヘルドデバイス上でローカルにトレーニングできると同時に、ニューロンのアップデートをサーバと同期するのみである。
その結果、フェデレーション学習タスクのトレーニング時間は、いくつかの低パフォーマンスストラグラーデバイスによって予測される。
本研究では,その性能と精度のフィードバックに基づいて,トラグラーのサブモデルを動的に形成することにより,フェデレーション学習の性能ボトルネックを軽減することを目的とする。
論文 参考訳（メタデータ） (2022-08-30T00:39:06Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Federated Dropout -- A Simple Approach for Enabling Federated Learning
on Resource Constrained Devices [40.69663094185572]
フェデレートラーニング(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。
実用FLに直面する大きな課題の1つは、リソース制約されたデバイスが、ディープニューラルネットワークモデルを更新する計算集約的なタスクに苦しむことである。
この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
論文 参考訳（メタデータ） (2021-09-30T16:52:13Z) - Adaptive Dynamic Pruning for Non-IID Federated Learning [3.8666113275834335]
フェデレートラーニング(FL)は、データセキュリティとプライバシを犠牲にすることなく機械学習モデルをトレーニングする新たなパラダイムとして登場した。
FLシステムにおけるエッジデバイスに対する適応型プルーニング方式を提案し,非IIDデータセットの推論高速化にデータセット対応動的プルーニングを適用した。
論文 参考訳（メタデータ） (2021-06-13T05:27:43Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。