論文の概要: OFedQIT: Communication-Efficient Online Federated Learning via
Quantization and Intermittent Transmission
- arxiv url: http://arxiv.org/abs/2205.06491v1
- Date: Fri, 13 May 2022 07:46:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-16 13:35:26.303242
- Title: OFedQIT: Communication-Efficient Online Federated Learning via
Quantization and Intermittent Transmission
- Title(参考訳): OFEDQIT: 量子化と断続的伝達によるコミュニケーション効率の高いオンラインフェデレーション学習
- Authors: Jonghwan Park, Dohyeok Kwon, Songnam hong
- Abstract要約: オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。
本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。
分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
- 参考スコア(独自算出の注目度): 7.6058140480517356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online federated learning (OFL) is a promising framework to collaboratively
learn a sequence of non-linear functions (or models) from distributed streaming
data incoming to multiple clients while keeping the privacy of their local
data. In this framework, we first construct a vanilla method (named OFedAvg) by
incorporating online gradient descent (OGD) into the de facto aggregation
method (named FedAvg). Despite its optimal asymptotic performance, OFedAvg
suffers from heavy communication overhead and long learning delay. To tackle
these shortcomings, we propose a communication-efficient OFL algorithm (named
OFedQIT) by means of a stochastic quantization and an intermittent
transmission. Our major contribution is to theoretically prove that OFedQIT
over $T$ time slots can achieve an optimal sublinear regret bound
$\mathcal{O}(\sqrt{T})$ for any real data (including non-IID data) while
significantly reducing the communication overhead. Furthermore, this optimality
is still guaranteed even when a small fraction of clients (having faster
processing time and high-quality communication channel) in a network are
participated at once. Our analysis reveals that OFedQIT successfully addresses
the drawbacks of OFedAvg while maintaining superior learning accuracy.
Experiments with real datasets demonstrate the effectiveness of our algorithm
on various online classification and regression tasks.
- Abstract(参考訳): オンラインフェデレーションラーニング(OFL)は,ローカルデータのプライバシを維持しながら,複数のクライアントに送信される分散ストリーミングデータから,一連の非線形関数(あるいはモデル)を協調的に学習する,有望なフレームワークである。
本稿では,オンライン勾配降下法(OGD)をデファクト集約法(FedAvg)に組み込むことにより,まずバニラ法(OedAvg)を構築した。
最適な漸近性能にもかかわらず、OfedAvgは通信オーバーヘッドと長い学習遅延に悩まされている。
これらの欠点に対処するために,確率的量子化と断続的伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。
我々の主な貢献は、$T$タイムスロットのOfedQITが、任意の実データ(非IIDデータを含む)に対して、最適なサブ線形リセットを$\mathcal{O}(\sqrt{T})$で達成し、通信オーバヘッドを大幅に削減できることを理論的に証明することである。
さらに、ネットワーク内の少数のクライアント(高速な処理時間と高品質の通信チャネル)が一度に参加しても、この最適性は保証される。
分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
実データを用いた実験により,オンライン分類と回帰タスクにおけるアルゴリズムの有効性を実証した。
関連論文リスト
- Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。
この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文 参考訳(メタデータ) (2024-08-26T17:03:14Z) - Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。
FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。
本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
論文 参考訳(メタデータ) (2024-05-16T14:22:49Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文 参考訳(メタデータ) (2023-04-09T05:21:15Z) - FLSTRA: Federated Learning in Stratosphere [22.313423693397556]
高度の高いプラットフォームステーションは、多くの地球上のクライアントが、トレーニングデータなしでグローバルなモデルを協調的に学習できるようにする。
我々は、FL遅延を最小限に抑えるために、アップリンクとダウンリンクのための共同クライアント選択とリソース割り当てアルゴリズムを開発した。
次に,その収束の上限を導出しながら,FLの精度を目標とする通信資源認識アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-01T00:52:55Z) - TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent
Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。
我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。
本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文 参考訳(メタデータ) (2022-07-13T16:58:22Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z) - Coded Computing for Federated Learning at the Edge [3.385874614913973]
フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。
最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。
我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
論文 参考訳(メタデータ) (2020-07-07T08:20:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。