論文の概要: GitFL: Adaptive Asynchronous Federated Learning using Version Control
- arxiv url: http://arxiv.org/abs/2211.12049v1
- Date: Tue, 22 Nov 2022 06:45:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 18:57:57.801926
- Title: GitFL: Adaptive Asynchronous Federated Learning using Version Control
- Title（参考訳）: GitFL: バージョン管理による適応型非同期フェデレーション学習
- Authors: Ming Hu and Zeke Xia and Zhihao Yue and Jun Xia and Yihao Huang and
Yang Liu and Mingsong Chen
- Abstract要約: フェデレートラーニング(FL)は、AIoT(Artificial Intelligence of Things)設計でますます利用されている。
既存のFL法は、推論精度が低く、訓練時間が長いという問題に悩まされている。
本稿では,有名なバージョン管理システムGitにインスパイアされた,新しい非同期FLフレームワークGitFLを提案する。
- 参考スコア（独自算出の注目度）: 10.554634072792302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a promising distributed machine learning paradigm that enables
collaborative training without compromising data privacy, Federated Learning
(FL) has been increasingly used in AIoT (Artificial Intelligence of Things)
design. However, due to the lack of efficient management of straggling devices,
existing FL methods greatly suffer from the problems of low inference accuracy
and long training time. Things become even worse when taking various uncertain
factors (e.g., network delays, performance variances caused by process
variation) existing in AIoT scenarios into account. To address this issue, this
paper proposes a novel asynchronous FL framework named GitFL, whose
implementation is inspired by the famous version control system Git. Unlike
traditional FL, the cloud server of GitFL maintains a master model (i.e., the
global model) together with a set of branch models indicating the trained local
models committed by selected devices, where the master model is updated based
on both all the pushed branch models and their version information, and only
the branch models after the pull operation are dispatched to devices. By using
our proposed Reinforcement Learning (RL)-based device selection mechanism, a
pulled branch model with an older version will be more likely to be dispatched
to a faster and less frequently selected device for the next round of local
training. In this way, GitFL enables both effective control of model staleness
and adaptive load balance of versioned models among straggling devices, thus
avoiding the performance deterioration. Comprehensive experimental results on
well-known models and datasets show that, compared with state-of-the-art
asynchronous FL methods, GitFL can achieve up to 2.64X training acceleration
and 7.88% inference accuracy improvements in various uncertain scenarios.
- Abstract（参考訳）: データプライバシを損なうことなくコラボレーティブなトレーニングを可能にする有望な分散機械学習パラダイムとして、フェデレーション学習(fl)はaiot(artificial intelligence of things)設計でますます使われてきた。
しかし, トラグリング装置の効率的な管理が欠如しているため, 既存のFL法は推論精度が低く, 長時間の訓練が困難であった。
AIoTシナリオに存在するさまざまな不確実な要因(ネットワーク遅延、プロセスのバリエーションに起因するパフォーマンスのばらつきなど)を考慮に入れると、事態はさらに悪化する。
本稿では,有名なバージョン管理システムGitにインスパイアされた,新しい非同期FLフレームワークGitFLを提案する。
従来のflとは異なり、gitflのクラウドサーバはマスタモデル(すなわちグローバルモデル)と、選択したデバイスが実行するトレーニングされたローカルモデルを示す一連のブランチモデル(プッシュされたブランチモデルとバージョン情報の両方に基づいてマスタモデルを更新し、プル操作後のブランチモデルのみをデバイスに送信する)を保持する。
提案した強化学習(Reinforcement Learning, RL)に基づくデバイス選択機構を用いることで, より古いバージョンを持つプル分岐モデルを, 次のラウンドのローカルトレーニングのために,より高速で少ない頻度で選択したデバイスに送信する可能性が高まる。
このようにして、GitFLはモデル安定性の効果的な制御と、ストラグデバイス間のバージョン付きモデルの適応負荷バランスの両方を可能にし、パフォーマンスの劣化を回避することができる。
よく知られているモデルとデータセットの包括的な実験結果によると、最先端の非同期flメソッドと比較して、gitflは最大2.64倍のトレーニングアクセラレーションと7.88%の推論精度向上を達成できる。
関連論文リスト
- Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳（メタデータ） (2023-12-18T05:18:17Z) - NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。
深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-08-15T13:29:14Z) - FLuID: Mitigating Stragglers in Federated Learning using Invariant
Dropout [1.8262547855491458]
Federated Learningは、機械学習モデルが個々のモバイルデバイス上でローカルにトレーニングし、共有サーバを介してモデルの更新を同期することを可能にする。
結果として、性能の低いストラグラーデバイスは、FLにおける全体的なトレーニング時間を規定することが多い。
Invariant Dropoutは,重み更新しきい値に基づいてサブモデルを抽出する手法である。
Invariant Dropout を用いた適応学習フレームワークであるFederated Learning を開発した。
論文 参考訳（メタデータ） (2023-07-05T19:53:38Z) - Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design [18.675244280002428]
我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。
SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
論文 参考訳（メタデータ） (2022-11-08T09:58:36Z) - DistFL: Distribution-aware Federated Learning for Mobile Scenarios [14.638070213182655]
フェデレートラーニング(FL)は、モバイルクライアントのための分散型およびプライバシ保護機械学習の効果的なソリューションとして登場した。
自動かつ正確なtextbfDistrib-aware textbfFederated textbfLution を実現するための新しいフレームワークである textbfDistFL を提案する。
論文 参考訳（メタデータ） (2021-10-22T06:58:48Z) - Federated Dropout -- A Simple Approach for Enabling Federated Learning
on Resource Constrained Devices [40.69663094185572]
フェデレートラーニング(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。
実用FLに直面する大きな課題の1つは、リソース制約されたデバイスが、ディープニューラルネットワークモデルを更新する計算集約的なタスクに苦しむことである。
この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
論文 参考訳（メタデータ） (2021-09-30T16:52:13Z) - Unit-Modulus Wireless Federated Learning Via Penalty Alternating
Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。
本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-31T08:19:54Z) - Device Scheduling and Update Aggregation Policies for Asynchronous
Federated Learning [72.78668894576515]
Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。
本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-23T18:57:08Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。