論文の概要: Federated Dropout -- A Simple Approach for Enabling Federated Learning
on Resource Constrained Devices
- arxiv url: http://arxiv.org/abs/2109.15258v1
- Date: Thu, 30 Sep 2021 16:52:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 14:30:40.952140
- Title: Federated Dropout -- A Simple Approach for Enabling Federated Learning
on Resource Constrained Devices
- Title（参考訳）: Federated Dropout - リソース制約デバイス上でのフェデレーション学習を実現するための簡単なアプローチ
- Authors: Dingzhu Wen, Ki-Jun Jeon, and Kaibin Huang
- Abstract要約: フェデレートラーニング(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。
実用FLに直面する大きな課題の1つは、リソース制約されたデバイスが、ディープニューラルネットワークモデルを更新する計算集約的なタスクに苦しむことである。
この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
- 参考スコア（独自算出の注目度）: 40.69663094185572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a popular framework for training an AI model using
distributed mobile data in a wireless network. It features data parallelism by
distributing the learning task to multiple edge devices while attempting to
preserve their local-data privacy. One main challenge confronting practical FL
is that resource constrained devices struggle with the computation intensive
task of updating of a deep-neural network model. To tackle the challenge, in
this paper, a federated dropout (FedDrop) scheme is proposed building on the
classic dropout scheme for random model pruning. Specifically, in each
iteration of the FL algorithm, several subnets are independently generated from
the global model at the server using dropout but with heterogeneous dropout
rates (i.e., parameter-pruning probabilities), each of which is adapted to the
state of an assigned channel. The subsets are downloaded to associated devices
for updating. Thereby, FdeDrop reduces both the communication overhead and
devices' computation loads compared with the conventional FL while
outperforming the latter in the case of overfitting and also the FL scheme with
uniform dropout (i.e., identical subsets).
- Abstract（参考訳）: Federated Learning(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。
ローカルデータプライバシを維持しながら、複数のエッジデバイスに学習タスクを分散することで、データ並列性を実現している。
実用的なflに直面する大きな課題のひとつは、リソース制約のあるデバイスが、ディープニューラルネットワークモデルの更新という計算集約的なタスクに苦しむことだ。
この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
具体的には、FLアルゴリズムの各イテレーションにおいて、複数のサブネットがドロップアウトを使用してサーバのグローバルモデルから独立して生成されるが、それぞれが割り当てられたチャネルの状態に適応する不均一なドロップアウト率(パラメータ実行確率)を持つ。
サブセットはアップデートのために関連するデバイスにダウンロードされる。
これにより、fdedropは通信オーバーヘッドとデバイスの計算負荷の両方を従来のflと比較して削減し、オーバーフィッティングの場合は後者を上回り、均一なドロップアウト(すなわち同一サブセット)を持つflスキームを上回らせる。
関連論文リスト
- FLARE: A New Federated Learning Framework with Adjustable Learning Rates over Resource-Constrained Wireless Networks [20.048146776405005]
ワイヤレス・フェデレート・ラーニング(WFL)は、データ分散、計算能力、チャネル条件などにおいて不均一性に悩まされている。
本稿では,Federated Learning Adjusted lean ratE (FLR ratE)による新しいアイデアを提案する。
FLAREが一貫してベースラインを上回っている実験。
論文 参考訳（メタデータ） (2024-04-23T07:48:17Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - FLuID: Mitigating Stragglers in Federated Learning using Invariant
Dropout [1.8262547855491458]
Federated Learningは、機械学習モデルが個々のモバイルデバイス上でローカルにトレーニングし、共有サーバを介してモデルの更新を同期することを可能にする。
結果として、性能の低いストラグラーデバイスは、FLにおける全体的なトレーニング時間を規定することが多い。
Invariant Dropoutは,重み更新しきい値に基づいてサブモデルを抽出する手法である。
Invariant Dropout を用いた適応学習フレームワークであるFederated Learning を開発した。
論文 参考訳（メタデータ） (2023-07-05T19:53:38Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳（メタデータ） (2023-05-15T22:04:49Z) - Scheduling and Aggregation Design for Asynchronous Federated Learning
over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。
FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。
年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2022-12-14T17:33:01Z) - Resource-Efficient and Delay-Aware Federated Learning Design under Edge
Heterogeneity [10.702853653891902]
フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。
本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。
提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
論文 参考訳（メタデータ） (2021-12-27T22:30:15Z) - Unit-Modulus Wireless Federated Learning Via Penalty Alternating
Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。
本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-31T08:19:54Z) - Adaptive Dynamic Pruning for Non-IID Federated Learning [3.8666113275834335]
フェデレートラーニング(FL)は、データセキュリティとプライバシを犠牲にすることなく機械学習モデルをトレーニングする新たなパラダイムとして登場した。
FLシステムにおけるエッジデバイスに対する適応型プルーニング方式を提案し,非IIDデータセットの推論高速化にデータセット対応動的プルーニングを適用した。
論文 参考訳（メタデータ） (2021-06-13T05:27:43Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。