論文の概要: On the Local Cache Update Rules in Streaming Federated Learning
- arxiv url: http://arxiv.org/abs/2303.16340v1
- Date: Tue, 28 Mar 2023 22:38:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 16:31:47.261032
- Title: On the Local Cache Update Rules in Streaming Federated Learning
- Title（参考訳）: ストリーミングフェデレーション学習におけるローカルキャッシュ更新ルールについて
- Authors: Heqiang Wang, Jieming Bian, Jie Xu
- Abstract要約: ストリーミング・フェデレーション・ラーニング(SFL)の新興分野に対処する。
SFLでは、データはストリーミングされ、その分布は時間とともに変化し、ローカルなトレーニングデータセットと長期的な分散との間に相違が生じます。
キャッシュ容量の制限を考慮して,各クライアントのローカルキャッシュを更新するローカルキャッシュ更新ルールを3つ提案する。
- 参考スコア（独自算出の注目度）: 7.04699351201771
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this study, we address the emerging field of Streaming Federated Learning
(SFL) and propose local cache update rules to manage dynamic data distributions
and limited cache capacity. Traditional federated learning relies on fixed data
sets, whereas in SFL, data is streamed, and its distribution changes over time,
leading to discrepancies between the local training dataset and long-term
distribution. To mitigate this problem, we propose three local cache update
rules - First-In-First-Out (FIFO), Static Ratio Selective Replacement (SRSR),
and Dynamic Ratio Selective Replacement (DRSR) - that update the local cache of
each client while considering the limited cache capacity. Furthermore, we
derive a convergence bound for our proposed SFL algorithm as a function of the
distribution discrepancy between the long-term data distribution and the
client's local training dataset. We then evaluate our proposed algorithm on two
datasets: a network traffic classification dataset and an image classification
dataset. Our experimental results demonstrate that our proposed local cache
update rules significantly reduce the distribution discrepancy and outperform
the baseline methods. Our study advances the field of SFL and provides
practical cache management solutions in federated learning.
- Abstract（参考訳）: 本研究では,ストリーミングフェデレーション学習(SFL)の新たな分野に取り組み,動的データ分散と限られたキャッシュ容量を管理するためのローカルキャッシュ更新ルールを提案する。
従来のフェデレーション学習は、固定データセットに依存するが、SFLでは、データはストリーミングされ、その分散は時間とともに変化するため、ローカルトレーニングデータセットと長期分布の相違が生じる。
この問題を軽減するため,我々は,キャッシュ容量の制限を考慮しつつ,各クライアントのローカルキャッシュを更新する3つのローカルキャッシュ更新ルール – First-In-First-Out (FIFO), Static Ratio Selective Replacement (SRSR), Dynamic Ratio Selective Replacement (DRSR) – を提案する。
さらに,提案したSFLアルゴリズムの収束バウンダリを,長期データ分布とクライアントのローカルトレーニングデータセットとの分布差の関数として導出する。
次に,提案アルゴリズムを,ネットワークトラフィック分類データセットと画像分類データセットの2つのデータセット上で評価する。
実験の結果,提案するローカルキャッシュ更新ルールは,分散のばらつきを著しく低減し,ベースラインメソッドを上回った。
本研究は,SFLの分野を進歩させ,フェデレート学習における実用的なキャッシュ管理ソリューションを提供する。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-24T13:30:03Z) - Variational Bayes for Federated Continual Learning [38.11883572425234]
フェデレートベイズニューラルネットワーク(Federated Bayesian Neural Network, FedBNN)は,すべてのクライアントに分散ベイズニューラルネットワークを用いた多目的かつ効率的なフレームワークである。
本手法は, 局所的および歴史的データ分布からの知識を単一モデルに連続的に統合し, 履歴分布の性能を維持しつつ, 新たなデータ分布から順応的に学習する。
論文 参考訳（メタデータ） (2024-05-23T08:09:21Z) - Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。
DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
論文 参考訳（メタデータ） (2024-02-05T19:02:19Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる
地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。
提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
論文 参考訳（メタデータ） (2021-12-28T18:13:09Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳（メタデータ） (2021-09-06T12:04:08Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z) - Coded Computing for Low-Latency Federated Learning over Wireless Edge
Networks [10.395838711844892]
フェデレートラーニングは、データ共有やクライアントデータを集中型サーバに移行することなく、クライアントノードにあるデータからグローバルモデルをトレーニングすることを可能にする。
我々は,構造化符号化冗長性をフェデレーション学習に注入し,ストラグラーを緩和し,訓練手順を高速化する,新しい符号化コンピューティングフレームワーク,CodedFedLを提案する。
論文 参考訳（メタデータ） (2020-11-12T06:21:59Z) - Multi-Armed Bandit Based Client Scheduling for Federated Learning [91.91224642616882]
統合学習(FL)は、通信オーバーヘッドの低減やデータのプライバシの保護など、ユビキタスな特性を特徴とする。
FLの各通信ラウンドでは、クライアントは自身のデータに基づいてローカルモデルを更新し、無線チャネル経由でローカル更新をアップロードする。
本研究は、無線チャネルの状態情報やクライアントの統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
論文 参考訳（メタデータ） (2020-07-05T12:32:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。