論文の概要: QUIC-FL: Quick Unbiased Compression for Federated Learning
- arxiv url: http://arxiv.org/abs/2205.13341v4
- Date: Sun, 11 Jun 2023 08:22:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 02:59:11.841155
- Title: QUIC-FL: Quick Unbiased Compression for Federated Learning
- Title(参考訳): quic-fl: フェデレーション学習のための素早い非偏り圧縮
- Authors: Ran Ben Basat, Shay Vargaftik, Amit Portnoy, Gil Einziger, Yaniv
Ben-Itzhak, Michael Mitzenmacher
- Abstract要約: 我々は,O(1/n)$ Normalized Mean Squared Error (NMSE) の保証を実現する従来の手法を改善した。
量子化を設計するために市販の数学的解法を使用できる新しい方法でこの問題を定式化する。
- 参考スコア(独自算出の注目度): 26.271826625056065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed Mean Estimation (DME), in which $n$ clients communicate vectors
to a parameter server that estimates their average, is a fundamental building
block in communication-efficient federated learning. In this paper, we improve
on previous DME techniques that achieve the optimal $O(1/n)$ Normalized Mean
Squared Error (NMSE) guarantee by asymptotically improving the complexity for
either encoding or decoding (or both). To achieve this, we formalize the
problem in a novel way that allows us to use off-the-shelf mathematical solvers
to design the quantization.
- Abstract(参考訳): 分散平均推定(Distributed Mean Estimation, DME)は、$n$クライアントが平均を推定するパラメータサーバにベクトルを通信する手法であり、コミュニケーション効率のよいフェデレーション学習における基本的な構成要素である。
本稿では,符号化や復号の複雑さを漸近的に改善することにより,O(1/n)$正規化平均二乗誤差(NMSE)保証を実現する従来のDME技術を改善する。
これを実現するために,本研究では,既製の数学的解法を用いて量子化を設計できる新しい方法で問題を定式化する。
関連論文リスト
- Towards Hyper-parameter-free Federated Learning [1.3682156035049038]
グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。
第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。
第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
論文 参考訳(メタデータ) (2024-08-30T09:35:36Z) - Sample-efficient Learning of Infinite-horizon Average-reward MDPs with General Function Approximation [53.17668583030862]
一般関数近似の文脈において,無限水平平均逆マルコフ決定過程(AMDP)について検討する。
最適化最適化(LOOP)と呼ばれる新しいアルゴリズムフレームワークを提案する。
我々は LOOP がサブ線形 $tildemathcalO(mathrmpoly(d, mathrmsp(V*)) sqrtTbeta )$ regret を達成することを示す。
論文 参考訳(メタデータ) (2024-04-19T06:24:22Z) - Compressed and Sparse Models for Non-Convex Decentralized Learning [6.14375469212514]
頻繁なモデル通信は、分散機械学習の効率にとって重要なボトルネックである。
モデル空間と勾配勾配を組み合わせた新しい分散MLアルゴリズムであるMalcom-PSGDを提案する。
本手法は,最先端技術と比較して通信コストを約75%削減する。
論文 参考訳(メタデータ) (2023-11-09T21:55:53Z) - FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted
Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。
局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。
textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文 参考訳(メタデータ) (2023-02-13T05:10:30Z) - Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the
JKO Scheme [60.79981399724534]
正規化フロー (NF) は、選択された確率分布を正規分布に変換する写像である。
OTベースのCNFを$alpha$をチューニングすることなく解くアルゴリズムであるJKO-Flowを提案する。
論文 参考訳(メタデータ) (2022-11-30T05:53:21Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳(メタデータ) (2022-10-14T01:42:05Z) - Rate-Distortion Theoretic Bounds on Generalization Error for Distributed
Learning [9.00236182523638]
本稿では,統計的分散学習アルゴリズムの一般化誤差の新しい上限を確立するために,レート歪み理論のツールを用いる。
境界は各クライアントのアルゴリズムの圧縮性に依存し、他のクライアントのアルゴリズムは圧縮されない。
論文 参考訳(メタデータ) (2022-06-06T13:21:52Z) - Optimizing the Communication-Accuracy Trade-off in Federated Learning
with Rate-Distortion Theory [1.5771347525430772]
連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。
本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。
量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
論文 参考訳(メタデータ) (2022-01-07T20:17:33Z) - Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。
ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。
分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
論文 参考訳(メタデータ) (2021-11-10T22:12:52Z) - Permutation Compressors for Provably Faster Distributed Nonconvex
Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。
MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文 参考訳(メタデータ) (2021-10-07T09:38:15Z) - DRIVE: One-bit Distributed Mean Estimation [16.41391088542669]
n$クライアントが$d(1+o(1))$ビットのみを使用して$d$次元実数値ベクトルを送信する問題を検討する。
我々は,従来の圧縮アルゴリズムを精度と計算効率で上回る新しいアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-05-18T08:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。