論文の概要: QUICK-FL: Quick Unbiased Compression for Federated Learning

• arxiv url: http://arxiv.org/abs/2205.13341v1
• Date: Thu, 26 May 2022 13:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 13:57:03.807705
• Title: QUICK-FL: Quick Unbiased Compression for Federated Learning
• Title（参考訳）: 連合学習のためのquick-fl: quick unbiased compression
• Authors: Ran Ben Basat, Shay Vargaftik, Amit Portnoy, Gil Einziger, Yaniv Ben-Itzhak, Michael Mitzenmacher
• Abstract要約: 我々は,すべての世界のベストを達成できる分散平均推定アルゴリズムQUIC-FLを提案する。 QUIC-FLはバイアスがなく、高速な集約時間を提供し、最も正確な(スローアグリゲーション)DME技術と競合する。 我々は、この問題を新しい方法で定式化し、標準ソルバを用いて、ほぼ最適な非バイアス量子化スキームを設計することができる。
• 参考スコア（独自算出の注目度）: 26.271826625056065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed Mean Estimation (DME) is a fundamental building block in communication efficient federated learning. In DME, clients communicate their lossily compressed gradients to the parameter server, which estimates the average and updates the model. State of the art DME techniques apply either unbiased quantization methods, resulting in large estimation errors, or biased quantization methods, where unbiasing the result requires that the server decodes each gradient individually, which markedly slows the aggregation time. In this paper, we propose QUIC-FL, a DME algorithm that achieves the best of all worlds. QUIC-FL is unbiased, offers fast aggregation time, and is competitive with the most accurate (slow aggregation) DME techniques. To achieve this, we formalize the problem in a novel way that allows us to use standard solvers to design near-optimal unbiased quantization schemes.
• Abstract（参考訳）: 分散平均推定(DME)はコミュニケーション効率のよいフェデレーション学習における基礎的な構成要素である。 DMEでは、クライアントはパラメータサーバに可逆的に圧縮された勾配を通信し、平均を見積もってモデルを更新する。 art dme技術は非バイアス量子化法を応用し、推定誤差が大きくなり、バイアス量子化法が適用され、その結果、サーバは各勾配を個別にデコードし、集約時間を著しく遅くする。 本稿では,すべての世界のベストを達成できるDMEアルゴリズムQUIC-FLを提案する。 QUIC-FLはバイアスがなく、高速な集約時間を提供し、最も正確な(スローアグリゲーション)DME技術と競合する。 これを実現するために、我々は標準解法を用いて、最適に近い非バイアス量子化スキームを設計できる新しい方法で問題を定式化する。

関連論文リスト

• Towards Hyper-parameter-free Federated Learning [1.3682156035049038]
  グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。 第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。 第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
  論文  参考訳（メタデータ） (2024-08-30T09:35:36Z)
• Sample-efficient Learning of Infinite-horizon Average-reward MDPs with General Function Approximation [53.17668583030862]
  一般関数近似の文脈において,無限水平平均逆マルコフ決定過程(AMDP)について検討する。 最適化最適化(LOOP)と呼ばれる新しいアルゴリズムフレームワークを提案する。 我々は LOOP がサブ線形 $tildemathcalO(mathrmpoly(d, mathrmsp(V*)) sqrtTbeta )$ regret を達成することを示す。
  論文  参考訳（メタデータ） (2024-04-19T06:24:22Z)
• Compressed and Sparse Models for Non-Convex Decentralized Learning [6.14375469212514]
  頻繁なモデル通信は、分散機械学習の効率にとって重要なボトルネックである。 モデル空間と勾配勾配を組み合わせた新しい分散MLアルゴリズムであるMalcom-PSGDを提案する。 本手法は,最先端技術と比較して通信コストを約75%削減する。
  論文  参考訳（メタデータ） (2023-11-09T21:55:53Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the JKO Scheme [60.79981399724534]
  正規化フロー (NF) は、選択された確率分布を正規分布に変換する写像である。 OTベースのCNFを$alpha$をチューニングすることなく解くアルゴリズムであるJKO-Flowを提案する。
  論文  参考訳（メタデータ） (2022-11-30T05:53:21Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Rate-Distortion Theoretic Bounds on Generalization Error for Distributed Learning [9.00236182523638]
  本稿では,統計的分散学習アルゴリズムの一般化誤差の新しい上限を確立するために,レート歪み理論のツールを用いる。 境界は各クライアントのアルゴリズムの圧縮性に依存し、他のクライアントのアルゴリズムは圧縮されない。
  論文  参考訳（メタデータ） (2022-06-06T13:21:52Z)
• Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
  連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。 本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。 量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
  論文  参考訳（メタデータ） (2022-01-07T20:17:33Z)
• Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
  フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。 ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。 分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
  論文  参考訳（メタデータ） (2021-11-10T22:12:52Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• DRIVE: One-bit Distributed Mean Estimation [16.41391088542669]
  n$クライアントが$d(1+o(1))$ビットのみを使用して$d$次元実数値ベクトルを送信する問題を検討する。 我々は,従来の圧縮アルゴリズムを精度と計算効率で上回る新しいアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-05-18T08:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。