Fugu-MT 論文翻訳(概要): QUIC-FL: Quick Unbiased Compression for Federated Learning

論文の概要: QUIC-FL: Quick Unbiased Compression for Federated Learning

arxiv url: http://arxiv.org/abs/2205.13341v4
Date: Sun, 11 Jun 2023 08:22:34 GMT
ステータス: 処理完了
システム内更新日: 2023-06-14 02:59:11.841155
Title: QUIC-FL: Quick Unbiased Compression for Federated Learning
Title（参考訳）: quic-fl: フェデレーション学習のための素早い非偏り圧縮
Authors: Ran Ben Basat, Shay Vargaftik, Amit Portnoy, Gil Einziger, Yaniv Ben-Itzhak, Michael Mitzenmacher
Abstract要約: 我々は,O(1/n)$ Normalized Mean Squared Error (NMSE) の保証を実現する従来の手法を改善した。量子化を設計するために市販の数学的解法を使用できる新しい方法でこの問題を定式化する。
参考スコア（独自算出の注目度）: 26.271826625056065
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Distributed Mean Estimation (DME), in which $n$ clients communicate vectors to a parameter server that estimates their average, is a fundamental building block in communication-efficient federated learning. In this paper, we improve on previous DME techniques that achieve the optimal $O(1/n)$ Normalized Mean Squared Error (NMSE) guarantee by asymptotically improving the complexity for either encoding or decoding (or both). To achieve this, we formalize the problem in a novel way that allows us to use off-the-shelf mathematical solvers to design the quantization.
Abstract（参考訳）: 分散平均推定(Distributed Mean Estimation, DME)は、$n$クライアントが平均を推定するパラメータサーバにベクトルを通信する手法であり、コミュニケーション効率のよいフェデレーション学習における基本的な構成要素である。本稿では,符号化や復号の複雑さを漸近的に改善することにより,O(1/n)$正規化平均二乗誤差(NMSE)保証を実現する従来のDME技術を改善する。これを実現するために,本研究では,既製の数学的解法を用いて量子化を設計できる新しい方法で問題を定式化する。

関連論文リスト

Towards Hyper-parameter-free Federated Learning [1.3682156035049038]
グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
論文参考訳（メタデータ） (2024-08-30T09:35:36Z)
Sample-efficient Learning of Infinite-horizon Average-reward MDPs with General Function Approximation [53.17668583030862]
一般関数近似の文脈において,無限水平平均逆マルコフ決定過程(AMDP)について検討する。最適化最適化(LOOP)と呼ばれる新しいアルゴリズムフレームワークを提案する。我々は LOOP がサブ線形 $tildemathcalO(mathrmpoly(d, mathrmsp(V*)) sqrtTbeta )$ regret を達成することを示す。
論文参考訳（メタデータ） (2024-04-19T06:24:22Z)
Compressed and Sparse Models for Non-Convex Decentralized Learning [6.14375469212514]
頻繁なモデル通信は、分散機械学習の効率にとって重要なボトルネックである。モデル空間と勾配勾配を組み合わせた新しい分散MLアルゴリズムであるMalcom-PSGDを提案する。本手法は,最先端技術と比較して通信コストを約75%削減する。
論文参考訳（メタデータ） (2023-11-09T21:55:53Z)
FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文参考訳（メタデータ） (2023-02-13T05:10:30Z)
Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the JKO Scheme [60.79981399724534]
正規化フロー (NF) は、選択された確率分布を正規分布に変換する写像である。 OTベースのCNFを$alpha$をチューニングすることなく解くアルゴリズムであるJKO-Flowを提案する。
論文参考訳（メタデータ） (2022-11-30T05:53:21Z)
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文参考訳（メタデータ） (2022-10-14T01:42:05Z)
Rate-Distortion Theoretic Bounds on Generalization Error for Distributed Learning [9.00236182523638]
本稿では,統計的分散学習アルゴリズムの一般化誤差の新しい上限を確立するために,レート歪み理論のツールを用いる。境界は各クライアントのアルゴリズムの圧縮性に依存し、他のクライアントのアルゴリズムは圧縮されない。
論文参考訳（メタデータ） (2022-06-06T13:21:52Z)
Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
論文参考訳（メタデータ） (2022-01-07T20:17:33Z)
Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
論文参考訳（メタデータ） (2021-11-10T22:12:52Z)
Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文参考訳（メタデータ） (2021-10-07T09:38:15Z)
DRIVE: One-bit Distributed Mean Estimation [16.41391088542669]
n$クライアントが$d(1+o(1))$ビットのみを使用して$d$次元実数値ベクトルを送信する問題を検討する。我々は,従来の圧縮アルゴリズムを精度と計算効率で上回る新しいアルゴリズムを導出する。
論文参考訳（メタデータ） (2021-05-18T08:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。