Fugu-MT 論文翻訳(概要): FedSkel: Efficient Federated Learning on Heterogeneous Systems with Skeleton Gradients Update

論文の概要: FedSkel: Efficient Federated Learning on Heterogeneous Systems with Skeleton Gradients Update

arxiv url: http://arxiv.org/abs/2108.09081v1
Date: Fri, 20 Aug 2021 09:21:58 GMT
ステータス: 処理完了
システム内更新日: 2021-08-23 13:34:58.694203
Title: FedSkel: Efficient Federated Learning on Heterogeneous Systems with Skeleton Gradients Update
Title（参考訳）: fedskel: スケルトン勾配更新によるヘテロジニアスシステムの効率的なフェデレーション学習
Authors: Junyu Luo, Jianlei Yang, Xucheng Ye, Xin Guo, Weisheng Zhao
Abstract要約: フェデレーション学習は、異なる参加者からデータ分析を行いながら、ユーザのプライバシを保護することを目的としている。本稿では,エッジデバイス上での計算効率と通信効率のよいフェデレーション学習を実現するためのFedSkelを提案する。
参考スコア（独自算出の注目度）: 11.920058578582994
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning aims to protect users' privacy while performing data analysis from different participants. However, it is challenging to guarantee the training efficiency on heterogeneous systems due to the various computational capabilities and communication bottlenecks. In this work, we propose FedSkel to enable computation-efficient and communication-efficient federated learning on edge devices by only updating the model's essential parts, named skeleton networks. FedSkel is evaluated on real edge devices with imbalanced datasets. Experimental results show that it could achieve up to 5.52$\times$ speedups for CONV layers' back-propagation, 1.82$\times$ speedups for the whole training process, and reduce 64.8% communication cost, with negligible accuracy loss.
Abstract（参考訳）: フェデレーション学習は、異なる参加者からのデータ分析を実行しながら、ユーザのプライバシーを保護することを目的としている。しかし,様々な計算能力と通信ボトルネックにより,異種システムのトレーニング効率を保証することは困難である。本研究では,モデルの本質的部分であるスケルトンネットワークを更新するだけで,エッジデバイス上での計算効率と通信効率のよいフェデレーション学習を実現するためのFedSkelを提案する。 fedskelは、不均衡データセットを持つ実際のエッジデバイスで評価される。実験の結果、CONV層のバックプロパゲーションの最大5.52$\times$スピードアップ、トレーニングプロセス全体の1.82$\times$スピードアップを実現し、64.8%の通信コストを削減できることがわかった。

関連論文リスト

FedFa: A Fully Asynchronous Training Paradigm for Federated Learning [14.4313600357833]
フェデレートラーニング(Federated Learning)は、多数のデバイス上で機械学習モデルのトレーニングをスケールするための、効率的な分散トレーニングパラダイムである。近年の最先端のソリューションでは,半非同期アプローチを用いて収束の保証による待ち時間コストの軽減が提案されている。我々はFedFaと呼ばれる完全な非同期トレーニングパラダイムを提案し、モデル収束を保証し、待ち時間を完全に排除できる。
論文参考訳（メタデータ） (2024-04-17T02:46:59Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Faster Federated Learning with Decaying Number of Local SGD Steps [23.447883712141422]
InNIST Learning (FL)デバイスは、プライベートデータを中央または他のクライアントと共有することなく、機械学習モデルを協調的にトレーニングする。本稿では、FLモデルの最終的な性能を共同で向上させる訓練が進むにつれて、$K$を提案する。
論文参考訳（メタデータ） (2023-05-16T17:36:34Z)
Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文参考訳（メタデータ） (2023-01-26T08:13:22Z)
FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文参考訳（メタデータ） (2022-06-21T17:23:06Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Efficient and Private Federated Learning with Partially Trainable Networks [8.813191488656527]
我々は、トレーニングプロセス全体において、モデルパラメータの一部を凍結する部分トレーニング可能なニューラルネットワークを活用することを提案する。 FedPT(Partially Trainable Neural Network)のフェデレート学習が,通信精度のトレードオフに優れた結果をもたらすことを実証的に示す。このアプローチでは、より高速なトレーニング、メモリフットプリントの削減、強力な差分プライバシー保証のためのユーティリティも実現しています。
論文参考訳（メタデータ） (2021-10-06T04:28:33Z)
Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文参考訳（メタデータ） (2021-08-12T14:18:05Z)
Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
論文参考訳（メタデータ） (2021-06-17T12:30:40Z)
FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems [14.242716751043533]
Federated Learning(FL)は、何千ものエッジデバイスがデータをサーバに同心的にアップロードすることなく、ローカルにモデルをトレーニングできる、新しい分散機械学習である。我々は、デバイスの自動トレーニングタスクを調整する新しい自己適応型フェデレーションフレームワークFedSAEを導入し、参加者を積極的に選択してパフォーマンス劣化を緩和する。このフレームワークでは、サーバは、トレーニング損失に基づいて、デバイスのトレーニング値を評価する。その後、サーバは、通信のオーバーヘッドを減らすために、グローバルモデルにより大きな価値を持つクライアントを選択する。
論文参考訳（メタデータ） (2021-04-15T15:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。