論文の概要: Preserved central model for faster bidirectional compression in distributed settings

• arxiv url: http://arxiv.org/abs/2102.12528v1
• Date: Wed, 24 Feb 2021 19:48:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-27 00:47:21.005620
• Title: Preserved central model for faster bidirectional compression in distributed settings
• Title（参考訳）: 分散環境における高速双方向圧縮のための中央保存モデル
• Authors: Constantin Philippenko and Aymeric Dieuleveut
• Abstract要約: 我々は,分散学習問題における通信制約に中央サーバで対処する新しい手法を開発した。 本研究では,双方向圧縮を行い,(ローカルワーカーから中央サーバへの)アップリンクのみを用いたアルゴリズムと同じ収束率を達成する新しいアルゴリズムを提案し,解析する。
• 参考スコア（独自算出の注目度）: 12.323007278097249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a new approach to tackle communication constraints in a distributed learning problem with a central server. We propose and analyze a new algorithm that performs bidirectional compression and achieves the same convergence rate as algorithms using only uplink (from the local workers to the central server) compression. To obtain this improvement, we design MCM, an algorithm such that the downlink compression only impacts local models, while the global model is preserved. As a result, and contrary to previous works, the gradients on local servers are computed on perturbed models. Consequently, convergence proofs are more challenging and require a precise control of this perturbation. To ensure it, MCM additionally combines model compression with a memory mechanism. This analysis opens new doors, e.g. incorporating worker dependent randomized-models and partial participation.
• Abstract（参考訳）: 我々は,分散学習問題における通信制約に中央サーバで対処する新しい手法を開発した。 本研究では,双方向圧縮を行い,(ローカルワーカーから中央サーバへの)アップリンクのみを用いたアルゴリズムと同じ収束率を達成する新しいアルゴリズムを提案し,解析する。 この改善を実現するために,ダウンリンク圧縮が局所モデルにのみ影響を与えるアルゴリズムであるmcmを設計し,グローバルモデルを保存した。 その結果、以前の作品とは対照的に、ローカルサーバのグラデーションは乱れモデルで計算されます。 その結果、収束証明はより困難であり、この摂動の正確な制御を必要とする。 これを保証するため、mcmはモデル圧縮とメモリ機構を組み合わせる。 この分析は、例えば新しいドアを開く。 労働者依存型ランダム化モデルと部分参加の導入。

関連論文リスト

• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
  ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
  論文  参考訳（メタデータ） (2024-02-09T13:58:33Z)
• Rate-Distortion Theoretic Bounds on Generalization Error for Distributed Learning [9.00236182523638]
  本稿では,統計的分散学習アルゴリズムの一般化誤差の新しい上限を確立するために,レート歪み理論のツールを用いる。 境界は各クライアントのアルゴリズムの圧縮性に依存し、他のクライアントのアルゴリズムは圧縮されない。
  論文  参考訳（メタデータ） (2022-06-06T13:21:52Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• Joint Global and Local Hierarchical Priors for Learned Image Compression [30.44884350320053]
  近年,従来の手書き画像コーデックと比較して,学習画像圧縮法の性能が向上している。 本稿では,ローカル情報とグローバル情報の両方をコンテンツに依存した方法で活用する,情報変換(Information Transformer, Informer)と呼ばれる新しいエントロピーモデルを提案する。 実験により,Informer はKodak および Tecnick データセットの最先端手法よりも速度歪み性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-12-08T06:17:37Z)
• Slashing Communication Traffic in Federated Learning by Transmitting Clustered Model Updates [12.660500431713336]
  Federated Learning(FL)は、複数のクライアントが共同で学習モデルをトレーニングできる、新たな分散型学習フレームワークである。 クライアントとパラメータサーバ間のインターネットを介してモデル更新を交換することで、通信トラフィックが増大する可能性がある。 本研究では,ソフトウェアクラスタリング(MUCSC)によるモデル更新圧縮を考案し,クライアントとPS間で送信されるモデル更新を圧縮する。
  論文  参考訳（メタデータ） (2021-05-10T07:15:49Z)
• Covert Model Poisoning Against Federated Learning: Algorithm Design and Optimization [76.51980153902774]
  フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。 本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。 実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T03:28:18Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。