論文の概要: Communication-Efficient Stochastic Distributed Learning

• arxiv url: http://arxiv.org/abs/2501.13516v1
• Date: Thu, 23 Jan 2025 10:05:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:55:03.201038
• Title: Communication-Efficient Stochastic Distributed Learning
• Title（参考訳）: コミュニケーション効率の良い確率的分散学習
• Authors: Xiaoxing Ren, Nicola Bastianello, Karl H. Johansson, Thomas Parisini,
• Abstract要約: 非および凸型、非指向型ネットワークの分散学習問題に対処する。 特に,高通信コストの課題に対処するために,分散マルチプライヤの交換方法(MM)に基づく小説を設計する。
• 参考スコア（独自算出の注目度）: 3.2923780772605595
• License:
• Abstract: We address distributed learning problems, both nonconvex and convex, over undirected networks. In particular, we design a novel algorithm based on the distributed Alternating Direction Method of Multipliers (ADMM) to address the challenges of high communication costs, and large datasets. Our design tackles these challenges i) by enabling the agents to perform multiple local training steps between each round of communications; and ii) by allowing the agents to employ stochastic gradients while carrying out local computations. We show that the proposed algorithm converges to a neighborhood of a stationary point, for nonconvex problems, and of an optimal point, for convex problems. We also propose a variant of the algorithm to incorporate variance reduction thus achieving exact convergence. We show that the resulting algorithm indeed converges to a stationary (or optimal) point, and moreover that local training accelerates convergence. We thoroughly compare the proposed algorithms with the state of the art, both theoretically and through numerical results.
• Abstract（参考訳）: 非凸ネットワークと凸ネットワークの両方において分散学習の問題に対処する。 特に,高通信コストと大規模データセットの課題に対処するため,分散マルチプライヤの交互方向法(ADMM)に基づく新しいアルゴリズムを設計する。 私たちのデザインはこれらの課題に取り組みます 一 エージェントが各通信のラウンド間で複数の局所的な訓練をすることができること、及び 二 エージェントが局所計算を行いながら確率勾配を適用できるようにすること。 提案アルゴリズムは,非凸問題に対する定常点近傍,および凸問題に対する最適点近傍に収束することを示す。 また、偏差低減を組み込んで正確な収束を実現するアルゴリズムの変種も提案する。 得られたアルゴリズムは実際に静止点(あるいは最適点)に収束し、さらに局所的な訓練が収束を促進することを示す。 提案したアルゴリズムを理論的および数値的な結果の両方で最先端のアルゴリズムと比較する。

関連論文リスト

• Stabilized Proximal-Point Methods for Federated Optimization [20.30761752651984]
  非加速アルゴリズムの通信複雑性は、分散近位点アルゴリズムであるDANEによって達成される。 ハイブリッド投影近点法に着想を得て,新しい分散アルゴリズムS-DANEを提案する。 S-DANEは、S-DANEとして良好な局所計算効率を保ちながら、通信の複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2024-07-09T17:56:29Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Composite federated learning with heterogeneous data [11.40641907024708]
  本稿では,複合フェデレート学習(FL)問題を解くための新しいアルゴリズムを提案する。 このアルゴリズムは、近似演算子と通信を戦略的に分離することで非滑らかな正規化を管理し、データ類似性に関する仮定なしにクライアントのドリフトに対処する。 提案アルゴリズムは最適解の近傍に線形に収束し,数値実験における最先端手法よりもアルゴリズムの優位性を示す。
  論文  参考訳（メタデータ） (2023-09-04T20:22:57Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• On Accelerating Distributed Convex Optimizations [0.0]
  本稿では,分散マルチエージェント凸最適化問題について検討する。 提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。 実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-19T13:19:54Z)
• Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
  分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。 これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
  論文  参考訳（メタデータ） (2021-07-26T18:11:07Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
  センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。 また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
  論文  参考訳（メタデータ） (2020-09-05T21:44:39Z)
• Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
  本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。 我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。 計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
  論文  参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。