論文の概要: Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning

• arxiv url: http://arxiv.org/abs/2305.13170v1
• Date: Mon, 22 May 2023 15:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 14:36:17.503166
• Title: Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning
• Title（参考訳）: 明示的パーソナライゼーションとローカルトレーニング:フェデレーション学習における二重コミュニケーション促進
• Authors: Kai Yi, Laurent Condat, Peter Richt\'arik
• Abstract要約: 通信コストを削減するための一般的な戦略は、連続する通信ラウンド間で複数の局所勾配降下ステップを実行することで構成されるローカルトレーニングである。 そこで我々は,明示的なパーソナライズとローカルトレーニングを効率的に統合する新しいアルゴリズムであるScafflixを紹介する。
• 参考スコア（独自算出の注目度）: 7.691755449724637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning is an evolving machine learning paradigm, in which multiple clients perform computations based on their individual private data, interspersed by communication with a remote server. A common strategy to curtail communication costs is Local Training, which consists in performing multiple local stochastic gradient descent steps between successive communication rounds. However, the conventional approach to local training overlooks the practical necessity for client-specific personalization, a technique to tailor local models to individual needs. We introduce Scafflix, a novel algorithm that efficiently integrates explicit personalization with local training. This innovative approach benefits from these two techniques, thereby achieving doubly accelerated communication, as we demonstrate both in theory and practice.
• Abstract（参考訳）: Federated Learningは進化する機械学習パラダイムで、複数のクライアントが個々のプライベートデータに基づいて計算を実行し、リモートサーバとの通信によって分散する。 通信コストを削減するための一般的な戦略は、連続する通信ラウンド間で複数の局所確率勾配降下ステップを実行するローカルトレーニングである。 しかし、ローカルトレーニングへの従来のアプローチは、クライアント固有のパーソナライズ、すなわちローカルモデルを個々のニーズに合わせて調整するテクニックの実用的必要性を見越している。 ローカルトレーニングと明示的なパーソナライズを効率的に統合する新しいアルゴリズムであるScafflixを紹介する。 この革新的なアプローチは、理論と実践の両方で示すように、この2つの手法の恩恵を受ける。

関連論文リスト

• Local Methods with Adaptivity via Scaling [38.99428012275441]
  本稿では,局所的な学習手法と適応的アプローチを融合して,効率的な分散学習手法を開発することを目的とする。 従来のローカルSGD法について検討し,スケーリング機能により拡張する。 理論的解析に加えて,ニューラルネットワークのトレーニングにより,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-02T19:50:05Z)
• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation [53.84175614198885]
  分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。 ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
  論文  参考訳（メタデータ） (2023-02-20T08:37:44Z)
• Provably Doubly Accelerated Federated Learning: The First Theoretically Successful Combination of Local Training and Compressed Communication [7.691755449724637]
  分散最適化とフェデレート学習のための最初のアルゴリズムを提案する。 我々のアルゴリズムは2倍の加速速度で直線的に正確な解に収束する。
  論文  参考訳（メタデータ） (2022-10-24T14:13:54Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression [8.353152693578151]
  Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。 両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。 我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-26T09:13:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。