論文の概要: LoDAdaC: a unified local training-based decentralized framework with adaptive gradients and compressed communication

• arxiv url: http://arxiv.org/abs/2604.09970v1
• Date: Sat, 11 Apr 2026 01:02:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.772178
• Title: LoDAdaC: a unified local training-based decentralized framework with adaptive gradients and compressed communication
• Title（参考訳）: LoDAdaC:適応勾配と圧縮通信を備えた局所訓練に基づく分散化フレームワーク
• Authors: Wei Liu, Anweshit Panda, Ujwal Pandey, Haven Cook, George M. Slota, Naigang Wang, Jie Chen, Yangyang Xu,
• Abstract要約: 我々は,Adam型更新と圧縮通信(CC)を併用したマルチローカルトレーニング(MLT)分散フレームワークを提案する。 LoDAdaCは、AMSGrad、Adam、AdaGradなど、局所的なアダプティブアップデートの幅広いクラスに対応している。 画像分類とGPTスタイルの言語モデルトレーニングの実験は、我々の理論的知見を検証し、LoDADACが収束速度と通信効率の点で既存の分散アルゴリズムを著しく上回っていることを示す。
• 参考スコア（独自算出の注目度）: 16.272293204712888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the decentralized distributed learning, achieving fast convergence and low communication cost is essential for scalability and high efficiency. Adaptive gradient methods, such as Adam, have demonstrated strong practical performance in deep learning and centralized distributed settings. However, their convergence properties remain largely unexplored in decentralized settings involving multiple local training steps, such as federated learning. To address this limitation, we propose LoDAdaC, a unified multiple Local Training (MLT) Decentralized framework with Adam-type updates and Compressed communication (CC). LoDAdaC accommodates a broad class of optimizers for its local adaptive updates, including AMSGrad, Adam, and AdaGrad; it is compatible with standard (possibly biased) compressors such as low-bit quantization and sparsification. MLT and CC enable LoDAdaC to achieve multiplied reduction of communication cost, while the technique of adaptive updates enables fast convergence. We rigorously prove the combined advantage through complexity analysis. In addition, experiments on image classification and GPT-style language model training validate our theoretical findings and show that LoDAdaC significantly outperforms existing decentralized algorithms in terms of convergence speed and communication efficiency.
• Abstract（参考訳）: 分散分散学習では、スケーラビリティと高効率のために、高速収束と低通信コストを達成することが不可欠である。 Adamのような適応的勾配法は、ディープラーニングと集中分散設定において強力な実用的な性能を示している。 しかし、それらの収束特性は、フェデレートラーニングのような複数のローカルトレーニングステップを含む分散環境において、ほとんど探索されていないままである。 この制限に対処するため,Adam型更新と圧縮通信(CC)を備えたマルチローカルトレーニング(MLT)分散フレームワークであるLoDAdaCを提案する。 LoDAdaCは、AMSGrad、Adam、AdaGradなど、局所的な適応性更新のための幅広いクラスのオプティマイザに対応しており、低ビット量子化やスパシフィケーションのような標準の(おそらくバイアスのある)圧縮機と互換性がある。 MLTとCCはLoDAdaCを乗算して通信コストの削減を実現し、適応的な更新技術は高速収束を実現する。 複雑性分析によって組み合わせた利点を厳格に証明する。 さらに、画像分類とGPTスタイルの言語モデルトレーニングの実験により、我々の理論的知見を検証し、LoDADACが収束速度と通信効率の点で既存の分散アルゴリズムを著しく上回っていることを示す。

関連論文リスト

• Event-Triggered Gossip for Distributed Learning [61.70659996356528]
  我々は,ノード間通信を減らすために,分散学習のためのイベントトリガー型ゴシップフレームワークを開発した。 従来のフルテキスト・オブ・ザ・アート分散学習法と比較して,bf71.61%を限界性能損失のみで分析する。
  論文  参考訳（メタデータ） (2026-02-22T10:13:43Z)
• Accelerating Decentralized Optimization via Overlapping Local Steps [6.713278402701195]
  本稿では,理論的な保証を犠牲にすることなく分散計算を高速化する新しい手法を提案する。 OLDSGD は局部分散 SGDOLDD と同じイテレーションを維持しつつ,通信遅延の異なるレベルにおいて,各項目の収束性を改善していることを示す。
  論文  参考訳（メタデータ） (2026-01-04T11:40:22Z)
• Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization [8.579148218325168]
  論文は、モデル圧縮、ローカルトレーニング、パーソナライゼーションに焦点を当て、コミュニケーション効率を改善するための戦略を探求する。 我々は,収束保証付き圧縮演算子のための統一的なフレームワークを構築した。 本稿では,収束を加速し,クライアントのドリフトを軽減するためにパーソナライズを取り入れた適応型ローカルトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-09-10T02:19:56Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Local Methods with Adaptivity via Scaling [38.99428012275441]
  本稿では,局所的な学習手法と適応的アプローチを融合して,効率的な分散学習手法を開発することを目的とする。 従来のローカルSGD法について検討し,スケーリング機能により拡張する。 理論的解析に加えて,ニューラルネットワークのトレーニングにより,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-02T19:50:05Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [52.13056951033747]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 FLにおける重要なボトルネックは通信コストです。 我々の研究は、FLにおける通信複雑性の低減を推進した革新的なScaffnewアルゴリズムにインスパイアされている。 我々はFedComLocを導入し、実用的で効果的な圧縮をScaffnewに統合し、通信効率をさらに高める。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression [56.01900711954956]
  そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)という,ローカルトレーニングの一般的かつ効果的な2つの手法を利用する通信効率の高いアルゴリズムを紹介した。 LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種体制において、関数の条件数とモデル次元に関して、二重に加速された通信複雑性を享受する。
  論文  参考訳（メタデータ） (2024-03-07T09:22:50Z)
• CoDeC: Communication-Efficient Decentralized Continual Learning [6.663641564969944]
  エッジでのトレーニングは、異なる場所で生成された継続的な進化データを活用する。 プライバシーに関する懸念は、空間的にも時間的に分散したデータにおいても、このコロケーションを禁止している。 通信効率の高い分散型連続学習アルゴリズムであるCoDeCを提案する。
  論文  参考訳（メタデータ） (2023-03-27T16:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。