論文の概要: Provable Acceleration of Distributed Optimization with Local Updates

• arxiv url: http://arxiv.org/abs/2601.03442v2
• Date: Wed, 14 Jan 2026 18:40:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 14:49:40.984388
• Title: Provable Acceleration of Distributed Optimization with Local Updates
• Title（参考訳）: ローカル更新による分散最適化の確率的高速化
• Authors: Zuang Wang, Yongqiang Wang,
• Abstract要約: 分散最適化では、各エージェントは2つの通信ラウンド間で1つのローカル更新を行い、その隣同士でソリューションを同期する。 フェデレートラーニングにおける複数のローカルアップデートの使用の成功に触発されて、分散最適化にローカルアップデートを組み込むことは、近年注目を集めている。
• 参考スコア（独自算出の注目度）: 1.5892054128426507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In conventional distributed optimization, each agent performs a single local update between two communication rounds with its neighbors to synchronize solutions. Inspired by the success of using multiple local updates in federated learning, incorporating local updates into distributed optimization has recently attracted increasing attention. However, unlike federated learning, where multiple local updates can accelerate learning by improving gradient estimation under mini-batch settings, it remains unclear whether similar benefits hold in distributed optimization when gradients are exact. Moreover, existing theoretical results typically require reducing the step size when multiple local updates are employed, which can entirely offset any potential benefit of these additional local updates and obscure their true impact on convergence. In this paper, we focus on the classic DIGing algorithm and leverage the tight performance bounds provided by Performance Estimation Problems (PEP) to show that incorporating local updates can indeed accelerate distributed optimization. To the best of our knowledge, this is the first rigorous demonstration of such acceleration for a broad class of objective functions. Our analysis further reveals that, under an appropriate step size, performing only two local updates is sufficient to achieve the maximal possible improvement, and that additional local updates provide no further gains. Because more updates increase computational cost, these findings offer practical guidance for efficient implementation. Extensive experiments on both synthetic and real-world datasets corroborate the theoretical findings.
• Abstract（参考訳）: 従来の分散最適化では、各エージェントは2つの通信ラウンド間で1つのローカル更新を行い、その隣同士でソリューションを同期する。 フェデレートラーニングにおける複数のローカルアップデートの使用の成功に触発されて、分散最適化にローカルアップデートを組み込むことは、近年注目を集めている。 しかし、複数の局所的な更新がミニバッチ設定での勾配推定を改善することで学習を加速するフェデレート学習とは異なり、勾配が正確である場合に、同様の利点が分散最適化に有効であるかどうかは不明である。 さらに、既存の理論的結果は、複数のローカルアップデートが採用された場合のステップサイズを削減し、これらの追加ローカルアップデートの潜在的なメリットを完全にオフセットし、その真のコンバージェンスへの影響を曖昧にすることができる。 本稿では,従来のDIGアルゴリズムに焦点をあて,性能推定問題(PEP)が提供する厳密な性能境界を利用して,局所的な更新を組み込むことで,分散最適化を確実に加速できることを示す。 我々の知る限りでは、これは対象関数の幅広いクラスに対するそのような加速の厳密な実証としては初めてである。 さらに,適切なステップサイズで2つのローカル更新のみを実行するだけで,最大限の改善が達成でき,追加のローカル更新がそれ以上の利益を得られないことを明らかにした。 より多くの更新が計算コストを増加させるため、これらの発見は効率的な実装のための実践的なガイダンスを提供する。 合成と実世界の両方のデータセットに関する大規模な実験は、理論的な発見を裏付けるものである。

関連論文リスト

• Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness [29.679323144520037]
  フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で調整して、プライバシ保護モデルを構築することができる。 本稿では,最小限のアップリンク通信オーバヘッドを維持しつつ,一般化目標を考慮した新しいFLアルゴリズムであるFedTOGAを提案する。
  論文  参考訳（メタデータ） (2024-08-26T09:42:18Z)
• Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
  フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-11T02:59:11Z)
• Meta-learning Optimizers for Communication-Efficient Learning [12.640586942181322]
  通信効率のよいSGD、特にローカルなSGDは近年大きな関心を集めている。 これらのアプローチの多くの変種が提案されているが、ディープラーニングの最先端適応に遅れを生じることがある。
  論文  参考訳（メタデータ） (2023-12-02T21:51:12Z)
• Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup [90.26270347459915]
  そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
  論文  参考訳（メタデータ） (2023-07-30T14:53:21Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• Revisiting Communication-Efficient Federated Learning with Balanced Global and Local Updates [14.851898446967672]
  本研究では,地域研修の数とグローバルアグリゲーションの数との最適なトレードオフを調査し,分析する。 提案手法は予測精度の点で性能が向上し,ベースライン方式よりもはるかに高速に収束する。
  論文  参考訳（メタデータ） (2022-05-03T13:05:26Z)
• On Second-order Optimization Methods for Federated Learning [59.787198516188425]
  フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。 本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-06T12:04:08Z)
• Jointly Optimizing Dataset Size and Local Updates in Heterogeneous Mobile Edge Learning [11.191719032853527]
  本稿では、リソース制約のある無線エッジを介して接続された学習者を対象に訓練された分散機械学習(ML)モデルの精度を最大化する。 我々は,各学習者の不均一なコミュニケーションと計算能力を考慮して,ローカル/グローバルな更新数とタスクサイズ割り当てを共同で最適化し,損失を最小限に抑える。
  論文  参考訳（メタデータ） (2020-06-12T18:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。