Fugu-MT 論文翻訳(概要): Asynchronous Hierarchical Federated Learning

論文の概要: Asynchronous Hierarchical Federated Learning

arxiv url: http://arxiv.org/abs/2206.00054v1
Date: Tue, 31 May 2022 18:42:29 GMT
ステータス: 処理完了
システム内更新日: 2022-06-02 12:48:22.350889
Title: Asynchronous Hierarchical Federated Learning
Title（参考訳）: 非同期階層型フェデレーション学習
Authors: Xing Wang, Yijun Wang
Abstract要約: 大量のサーバトラフィック、長い収束期間、信頼できない精度の問題を解決するために、非同期階層型フェデレーション学習を提案する。特別な集約装置を選択して階層的な学習を可能にし、サーバの負担を大幅に軽減することができる。 CIFAR-10画像分類タスクにおける提案アルゴリズムの評価を行った。
参考スコア（独自算出の注目度）: 10.332084068006345
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning is a rapidly growing area of research and with various benefits and industry applications. Typical federated patterns have some intrinsic issues such as heavy server traffic, long periods of convergence, and unreliable accuracy. In this paper, we address these issues by proposing asynchronous hierarchical federated learning, in which the central server uses either the network topology or some clustering algorithm to assign clusters for workers (i.e., client devices). In each cluster, a special aggregator device is selected to enable hierarchical learning, leads to efficient communication between server and workers, so that the burden of the server can be significantly reduced. In addition, asynchronous federated learning schema is used to tolerate heterogeneity of the system and achieve fast convergence, i.e., the server aggregates the gradients from the workers weighted by a staleness parameter to update the global model, and regularized stochastic gradient descent is performed in workers, so that the instability of asynchronous learning can be alleviated. We evaluate the proposed algorithm on CIFAR-10 image classification task, the experimental results demonstrate the effectiveness of asynchronous hierarchical federated learning.
Abstract（参考訳）: 連合学習は急速に成長している研究分野であり、様々な利益と産業応用がある。典型的なフェデレーションパターンは、大量のサーバトラフィック、長い収束期間、信頼性の低い正確さなど、固有の問題があります。本稿では、中央サーバがネットワークトポロジーまたはクラスタリングアルゴリズムのいずれかを使用して、ワーカー(すなわちクライアントデバイス)にクラスタを割り当てる非同期階層型連合学習を提案することで、これらの問題に対処する。各クラスタでは、階層的学習を可能にするために特別な集約装置が選択され、サーバとワーカー間の効率的な通信につながり、サーバの負担を大幅に軽減することができる。さらに、非同期フェデレーション学習スキーマを用いてシステムの不均一性を許容し、高速収束を実現する。すなわち、サーバは、安定度パラメータで重み付けされた労働者の勾配を集約してグローバルモデルを更新し、労働者で正規化確率勾配降下を行い、非同期学習の不安定性を軽減する。提案手法をCIFAR-10画像分類タスク上で評価し,非同期階層型フェデレーション学習の有効性を実証した。

関連論文リスト

Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文参考訳（メタデータ） (2024-10-09T06:17:16Z)
Federated Learning based on Pruning and Recovery [0.0]
このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
論文参考訳（メタデータ） (2024-03-16T14:35:03Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Queuing dynamics of asynchronous Federated Learning [15.26212962081762]
計算速度の異なるノードを用いた非同期フェデレーション学習機構について検討する。本稿では、より複雑な遅延を低減できる中央サーバのための一様でないサンプリング方式を提案する。画像分類問題に対する現状の非同期アルゴリズムよりも,提案手法の大幅な改善が明らかとなった。
論文参考訳（メタデータ） (2024-02-12T18:32:35Z)
Scheduling and Communication Schemes for Decentralized Federated Learning [0.31410859223862103]
勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。 DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
論文参考訳（メタデータ） (2023-11-27T17:35:28Z)
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler [5.550660753625296]
クロスサイロフェデレーション学習は、ローカルデータセットのプライバシを損なうことなく、AIモデルを協調的にトレーニングする、有望なソリューションを提供する。本稿では,サーバ側で計算パワースケジューラを組み込んだ,半同期型フェデレーション学習アルゴリズムを提案する。上位クライアントでフェデレート学習を行う場合,Fedは他のアルゴリズムよりも高速な収束と精度を実現することを示す。
論文参考訳（メタデータ） (2023-09-26T05:03:13Z)
Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文参考訳（メタデータ） (2022-12-21T18:58:24Z)
Hierarchical Over-the-Air FedGradNorm [50.756991828015316]
MTL(Multi-task Learning)は、単一の共有ネットワークで複数の関連するタスクを同時に学習する学習パラダイムである。我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。
論文参考訳（メタデータ） (2022-12-14T18:54:46Z)
Locally Asynchronous Stochastic Gradient Descent for Decentralised Deep Learning [0.0]
Local Asynchronous SGD (LASGD) は、モデル同期にAll Reduceに依存する非同期分散アルゴリズムである。 ImageNetデータセット上の画像分類タスクにおいて、LASGDの性能を実証的に検証する。
論文参考訳（メタデータ） (2022-03-24T14:25:15Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)
A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文参考訳（メタデータ） (2020-09-29T13:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。