論文の概要: Beyond Communication Overhead: A Multilevel Monte Carlo Approach for Mitigating Compression Bias in Distributed Learning

• arxiv url: http://arxiv.org/abs/2507.05508v1
• Date: Mon, 07 Jul 2025 22:06:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.363314
• Title: Beyond Communication Overhead: A Multilevel Monte Carlo Approach for Mitigating Compression Bias in Distributed Learning
• Title（参考訳）: コミュニケーションオーバーヘッドを超えて - 分散学習における圧縮バイアスの軽減のためのマルチレベルモンテカルロアプローチ
• Authors: Ze'ev Zukerman, Bassel Hamoud, Kfir Y. Levy,
• Abstract要約: 本稿では, 統計的に偏りのない推定値を構築するために, バイアス圧縮機を利用する新しいマルチレベルモンテカルロ圧縮手法を提案する。 提案手法の汎用性を示すため,Top-$k$やビットワイド圧縮機などの一般的な圧縮機に適用する。 我々は、その性能をさらに向上させるために、我々のアプローチの適応バージョンを導出する。
• 参考スコア（独自算出の注目度）: 8.857118545357876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed learning methods have gained substantial momentum in recent years, with communication overhead often emerging as a critical bottleneck. Gradient compression techniques alleviate communication costs but involve an inherent trade-off between the empirical efficiency of biased compressors and the theoretical guarantees of unbiased compressors. In this work, we introduce a novel Multilevel Monte Carlo (MLMC) compression scheme that leverages biased compressors to construct statistically unbiased estimates. This approach effectively bridges the gap between biased and unbiased methods, combining the strengths of both. To showcase the versatility of our method, we apply it to popular compressors, like Top-$k$ and bit-wise compressors, resulting in enhanced variants. Furthermore, we derive an adaptive version of our approach to further improve its performance. We validate our method empirically on distributed deep learning tasks.
• Abstract（参考訳）: 近年、分散学習手法は大きな勢いを増しており、通信オーバーヘッドが重要なボトルネックとして現れることが多い。 グラディエント圧縮技術は通信コストを軽減するが、バイアス圧縮機の経験的効率と非バイアス圧縮機の理論的保証との間には本質的にトレードオフがある。 本研究では, 統計的に偏りのない推定値を構築するために, バイアス圧縮機を利用する新しいマルチレベルモンテカルロ圧縮方式を提案する。 このアプローチは、バイアス付きメソッドとバイアスなしメソッドのギャップを効果的に埋め、両方の長所を組み合わせる。 提案手法の汎用性を示すため,Top-k$ やbit-wise 圧縮機などの一般的な圧縮機に適用し,改良された変形を実現する。 さらに,本手法の適応バージョンを導出し,さらなる性能向上を図る。 分散深層学習タスクにおいて,本手法を実証的に検証する。

関連論文リスト

• Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
  ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
  論文  参考訳（メタデータ） (2024-02-09T13:58:33Z)
• EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
  分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T10:44:23Z)
• 3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation [12.013162443721312]
  本稿では,コミュニケーション効率向上のための新しい勾配通信機構を提案する。 提案手法は,最近提案されたエラーフィードバック機構EF21を復元できることを示す。 遅延アグリゲーションとエラーフィードバックの文献の間には,新たな基本的リンクが提供される。
  論文  参考訳（メタデータ） (2022-02-02T12:34:18Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning [0.0]
  私たちのアプローチは、メモリ要件の削減、複雑性の保証の改善、仮定の削減など、EFよりも大幅に改善されていることが示されています。 さらに、ノード上の任意の分布に従って、部分的な参加を伴うフェデレーション学習に結果を拡張し、そのメリットを実証する。
  論文  参考訳（メタデータ） (2020-06-19T11:24:41Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。