論文の概要: An All-Reduce Compatible Top-K Compressor for Communication-Efficient Distributed Learning

• arxiv url: http://arxiv.org/abs/2510.26709v3
• Date: Tue, 04 Nov 2025 07:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 14:27:17.378172
• Title: An All-Reduce Compatible Top-K Compressor for Communication-Efficient Distributed Learning
• Title（参考訳）: 通信効率の良い分散学習のための全再生対応Top-K圧縮機
• Authors: Chuyan Chen, Chenyang Ma, Zhangxin Li, Yutong He, Yanjie Dong, Kun Yuan,
• Abstract要約: 勾配圧縮機Rand-K$は構造情報を破棄し、収縮が不十分である。 Top-K$は情報的エントリを保存するが、プロパティを失い、コストがかかるAll-Gather操作が必要になる。 ARC-Top-$K$は、勾配の軽量なスケッチを使用してノード間の間隔パターンを整列し、インデックスなしのAll-Reduceを可能にする。
• 参考スコア（独自算出の注目度）: 13.41238196525377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Communication remains a central bottleneck in large-scale distributed machine learning, and gradient sparsification has emerged as a promising strategy to alleviate this challenge. However, existing gradient compressors face notable limitations: Rand-$K$ discards structural information and performs poorly in practice, while Top-$K$ preserves informative entries but loses the contraction property and requires costly All-Gather operations. In this paper, we propose ARC-Top-$K$, an {All-Reduce}-Compatible Top-$K$ compressor that aligns sparsity patterns across nodes using a lightweight sketch of the gradient, enabling index-free All-Reduce while preserving globally significant information. ARC-Top-$K$ is provably contractive and, when combined with momentum error feedback (EF21M), achieves linear speedup and sharper convergence rates than the original EF21M under standard assumptions. Empirically, ARC-Top-$K$ matches the accuracy of Top-$K$ while reducing wall-clock training time by up to 60.7\%, offering an efficient and scalable solution that combines the robustness of Rand-$K$ with the strong performance of Top-$K$.
• Abstract（参考訳）: コミュニケーションは、大規模な分散機械学習において依然として中心的なボトルネックであり、この課題を緩和するための有望な戦略として、勾配のスパーシフィケーションが出現している。 Rand-$K$は構造情報を破棄し、実際は性能が悪く、Top-$K$は情報的エントリを保存するが、収縮特性を失い、コストがかかるオールギャザー演算を必要とする。 本稿では,グローバルな重要な情報を保存しながら,指数なしのAll-Reduceを実現するために,勾配の軽量なスケッチを用いてノード間の空間パターンを整列するARC-Top-$K$, {All-Reduce}-Compatible Top-$K$圧縮機を提案する。 ARC-Top-$K$は実効性があり、運動量誤差フィードバック(EF21M)と組み合わせると、標準仮定の下で元のEF21Mよりも線形のスピードアップとよりシャープな収束率を達成する。 経験的に、ARC-Top-$K$はTop-K$の精度と一致し、壁時計のトレーニング時間を最大60.7\%削減し、Rand-K$の堅牢性とTop-K$の強力なパフォーマンスを組み合わせた、効率的でスケーラブルなソリューションを提供する。

関連論文リスト

• On the Fast Adaptation of Delayed Clients in Decentralized Federated Learning: A Centroid-Aligned Distillation Approach [0.27309692684728615]
  DFedCADはCentroid-Aligned Distillationによる迅速な適応のための新しいフレームワークである。 遅延クライアントがインテリジェントに評価し、ピアナレッジと整合することを可能にする。 CIFAR-10、CIFAR-100、Tiny-ImageNetの実験では、DFedCADは一貫して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-08-05T01:41:30Z)
• $γ$-FedHT: Stepsize-Aware Hard-Threshold Gradient Compression in Federated Learning [15.458263187587097]
  グラディエント圧縮は、フェデレートラーニング(FL)におけるボトルネックを効果的に緩和する Error-Feedbackの基本的会話を紹介する。 我々は、$gamma$-FedHTがTop-k$よりも7.42%$まで精度を向上することを示した。
  論文  参考訳（メタデータ） (2025-05-18T15:55:50Z)
• Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
  我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。 ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
  論文  参考訳（メタデータ） (2023-05-29T21:32:15Z)
• Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection [59.77647907277523]
  敵対的コントラスト学習(ACL)は、高価なデータアノテーションを必要としないが、敵対的攻撃に耐える堅牢な表現を出力する。 ACLは、すべてのトレーニングデータの逆の変種を生成するのに、膨大な実行時間が必要です。 本稿では,ACLの高速化を目的としたロバストネス対応コアセット選択(RCS)手法を提案する。
  論文  参考訳（メタデータ） (2023-02-08T03:20:14Z)
• BEER: Fast $O(1/T)$ Rate for Decentralized Nonconvex Optimization with Communication Compression [37.20712215269538]
  コミュニケーション効率は大規模分散機械学習アプリケーションのボトルネックとして広く認識されている。 本稿では,勾配追跡と通信を併用したBEERを提案し,より高速に収束することを示す。
  論文  参考訳（メタデータ） (2022-01-31T16:14:09Z)
• Rethinking gradient sparsification as total error minimization [0.0]
  分散トレーニングネットワーク(DNN)における通信ボトルネックに対処する手段として,グラディエント圧縮が広く確立されている。 我々は、特にDNNにとって、勾配スペーシフィケーションの利点は必要であると主張する。
  論文  参考訳（メタデータ） (2021-08-02T14:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。