Fugu-MT 論文翻訳(概要): Anarchic Federated Learning

論文の概要: Anarchic Federated Learning

arxiv url: http://arxiv.org/abs/2108.09875v1
Date: Mon, 23 Aug 2021 00:38:37 GMT
ステータス: 処理完了
システム内更新日: 2021-08-24 15:25:31.414572
Title: Anarchic Federated Learning
Title（参考訳）: Anarchic Federated Learning
Authors: Haibo Yang, Xin Zhang, Prashant Khanduri, Jia Liu
Abstract要約: 我々は、Anarchic Federated Learning' (AFL)と呼ばれる連邦学習の新しいパラダイムを提案する。 AFLでは、各作業者は、(i)いつFLに参加するか、(i)現在の状況に基づいて各ラウンドで行うローカルステップの数を選択できる。クロスデバイスとクロスサイロの両方の設定に対して、双方向の学習率を持つ2つのAnarchic FedAvgライクなアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 9.440407984695904
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Present-day federated learning (FL) systems deployed over edge networks have to consistently deal with a large number of workers with high degrees of heterogeneity in data and/or computing capabilities. This diverse set of workers necessitates the development of FL algorithms that allow: (1) flexible worker participation that grants the workers' capability to engage in training at will, (2) varying number of local updates (based on computational resources) at each worker along with asynchronous communication with the server, and (3) heterogeneous data across workers. To address these challenges, in this work, we propose a new paradigm in FL called ``Anarchic Federated Learning'' (AFL). In stark contrast to conventional FL models, each worker in AFL has complete freedom to choose i) when to participate in FL, and ii) the number of local steps to perform in each round based on its current situation (e.g., battery level, communication channels, privacy concerns). However, AFL also introduces significant challenges in algorithmic design because the server needs to handle the chaotic worker behaviors. Toward this end, we propose two Anarchic FedAvg-like algorithms with two-sided learning rates for both cross-device and cross-silo settings, which are named AFedAvg-TSLR-CD and AFedAvg-TSLR-CS, respectively. For general worker information arrival processes, we show that both algorithms retain the highly desirable linear speedup effect in the new AFL paradigm. Moreover, we show that our AFedAvg-TSLR algorithmic framework can be viewed as a {\em meta-algorithm} for AFL in the sense that they can utilize advanced FL algorithms as worker- and/or server-side optimizers to achieve enhanced performance under AFL. We validate the proposed algorithms with extensive experiments on real-world datasets.
Abstract（参考訳）: エッジネットワーク上にデプロイされた現在の連合学習(fl)システムは,データや計算能力の多様性が高い多数のワーカに対して,一貫して対処しなければならない。この多様な労働者は、(1)労働者の意志でトレーニングを行う能力を与える柔軟な労働者参加、(2)サーバーとの非同期通信と共に各労働者のローカルな更新(計算資源に基づく)の数の変化、(3)労働者間の異種データなど、FLアルゴリズムの開発を必要とする。このような課題に対処するため,本稿では,'Anarchic Federated Learning' (AFL) と呼ばれる新たなパラダイムを提案する。従来のFLモデルとは対照的に、AFLの各作業員は、FLに参加するときの完全な自由(i)と、現在の状況(例えば、バッテリーレベル、通信チャネル、プライバシー問題)に基づいて各ラウンドで実行するローカルステップの数(i)がある。しかし、AFLは、サーバーがカオス的なワーカーの振る舞いを扱う必要があるため、アルゴリズム設計における重大な課題も導入している。この目的のために,AFedAvg-TSLR-CD と AFedAvg-TSLR-CS という2つのアナーキック型FedAvg-likeアルゴリズムを提案する。一般の作業者情報到着プロセスでは,両アルゴリズムが新しいAFLパラダイムにおいて,非常に望ましい線形高速化効果を保っていることを示す。さらに,我々の AFedAvg-TSLR アルゴリズムフレームワークは,高度な FL アルゴリズムをワーカーおよびサーバサイドオプティマイザとして利用することにより,AFL の高性能化を実現することができることを示す。提案アルゴリズムを実世界のデータセットで広範な実験により検証する。

関連論文リスト

FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文参考訳（メタデータ） (2024-10-16T16:13:19Z)
Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。 FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
論文参考訳（メタデータ） (2024-10-04T15:11:15Z)
Analytic Federated Learning [34.15482252496494]
我々は、分析的(クローズドな)ソリューションを連邦学習(FL)コミュニティにもたらす新しい訓練パラダイムである分析的連合学習(AFL)を紹介した。私たちのAFLは、分析学習からインスピレーションを受けています -- ニューラルネットワークを1つの時代における分析ソリューションでトレーニングする、勾配のないテクニックです。極めて非IIDな設定や多数のクライアントによるシナリオを含む、さまざまなFL設定で実験を行う。
論文参考訳（メタデータ） (2024-05-25T13:58:38Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文参考訳（メタデータ） (2024-02-17T05:22:46Z)
Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文参考訳（メタデータ） (2023-08-31T12:22:40Z)
Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文参考訳（メタデータ） (2022-09-27T02:12:43Z)
Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction [104.41634756395545]
具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。 FedBiOの複雑性は$O(epsilon-1.5)$である。本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
論文参考訳（メタデータ） (2022-05-03T16:40:22Z)
Speeding up Heterogeneous Federated Learning with Sequentially Trained Superclients [19.496278017418113]
フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
論文参考訳（メタデータ） (2022-01-26T12:33:23Z)
Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
近年,フェデレートラーニング(FL)が注目されている。知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
論文参考訳（メタデータ） (2020-11-23T12:52:18Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。