Fugu-MT 論文翻訳(概要): FedFNN: Faster Training Convergence Through Update Predictions in Federated Recommender Systems

論文の概要: FedFNN: Faster Training Convergence Through Update Predictions in Federated Recommender Systems

arxiv url: http://arxiv.org/abs/2309.08635v1
Date: Thu, 14 Sep 2023 13:18:43 GMT
ステータス: 処理完了
システム内更新日: 2023-09-19 21:58:19.440539
Title: FedFNN: Faster Training Convergence Through Update Predictions in Federated Recommender Systems
Title（参考訳）: FedFNN:Federated Recommenderシステムの更新予測によるトレーニング収束の高速化
Authors: Francesco Fabbri, Xianghang Liu, Jack R. McKenzie, Bartlomiej Twardowski, and Tri Kurniawan Wijaya
Abstract要約: フェデレートラーニング(FL)は、分散機械学習の鍵となるアプローチとして登場した。本稿では、分散モデルトレーニングを高速化するアルゴリズムであるFedFNNを紹介する。
参考スコア（独自算出の注目度）: 4.4273123155989715
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) has emerged as a key approach for distributed machine learning, enhancing online personalization while ensuring user data privacy. Instead of sending private data to a central server as in traditional approaches, FL decentralizes computations: devices train locally and share updates with a global server. A primary challenge in this setting is achieving fast and accurate model training - vital for recommendation systems where delays can compromise user engagement. This paper introduces FedFNN, an algorithm that accelerates decentralized model training. In FL, only a subset of users are involved in each training epoch. FedFNN employs supervised learning to predict weight updates from unsampled users, using updates from the sampled set. Our evaluations, using real and synthetic data, show: 1. FedFNN achieves training speeds 5x faster than leading methods, maintaining or improving accuracy; 2. the algorithm's performance is consistent regardless of client cluster variations; 3. FedFNN outperforms other methods in scenarios with limited client availability, converging more quickly.
Abstract（参考訳）: Federated Learning(FL)は、分散機械学習の重要なアプローチとして現れ、ユーザのデータのプライバシを確保しながら、オンラインパーソナライゼーションを強化している。従来のアプローチのようにプライベートデータを中央サーバに送信する代わりに、flは計算を分散化する: デバイスはローカルにトレーニングし、グローバルサーバと更新を共有する。この設定における最大の課題は、高速で正確なモデルトレーニングを達成することだ。本稿では、分散モデルトレーニングを高速化するアルゴリズムであるFedFNNを紹介する。 flでは、ユーザーのサブセットのみが各トレーニング期間に関わっている。 FedFNNは教師付き学習を使用して、サンプルセットからの更新を使用して、アンサンプされたユーザからのウェイトアップデートを予測する。私たちの評価は実データと合成データを使って 1.FedFNNは、指導方法よりも5倍速く、精度を維持または改善する。 2. クライアントクラスタの変動に関わらず,アルゴリズムの性能は一定である。 3. FedFNNは、クライアントの可用性が制限されたシナリオで他のメソッドよりも優れており、より迅速に収束する。

関連論文リスト

Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文参考訳（メタデータ） (2024-02-17T05:22:46Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Aergia: Leveraging Heterogeneity in Federated Learning Systems [5.0650178943079]
フェデレートラーニング(FL)は、クライアントを頼りに、ローカルデータセットを使用してグローバルモデルを更新する。 Aergiaは、遅いクライアントがトレーニングで最も計算集約的なモデルの一部を凍結する、新しいアプローチである。 AergiaはFedAvgとTiFLと比較して、異種条件下でのトレーニング時間を最大27%と53%と大幅に短縮する。
論文参考訳（メタデータ） (2022-10-12T12:59:18Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文参考訳（メタデータ） (2021-12-18T02:26:38Z)
FedPrune: Towards Inclusive Federated Learning [1.308951527147782]
フェデレートラーニング(Federated Learning, FL)は、分散データの共有モデルをプライバシ保護形式でトレーニングする分散学習技術である。我々は,この課題に対処するシステムであるFedPruneを提案する。 Central Limit Theoremからの洞察を利用することで、FedPruneは非IIDデータよりも堅牢なパフォーマンスを実現する新しい集約テクニックを取り入れている。
論文参考訳（メタデータ） (2021-10-27T06:33:38Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)
FedNNNN: Norm-Normalized Neural Network Aggregation for Fast and Accurate Federated Learning [11.414092409682162]
フェデレートラーニング(Federated Learning, FL)は、サーバが学習プロセスを進めるために、いくつかの独立したクライアントから学んだモデルの集合を集約する必要がある分散ラーニングプロトコルである。現在、FedAvgとして知られるモデル平均化は、最も広く適応されたアグリゲーション手法の1つである。本研究では,異なるクライアントのモデルの平均化によって更新ベクトルのノルムが著しく低下し,学習速度が遅く,予測精度が低くなることを明らかにする。
論文参考訳（メタデータ） (2020-08-11T06:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。