論文の概要: Gradient tracking and variance reduction for decentralized optimization and machine learning

• arxiv url: http://arxiv.org/abs/2002.05373v1
• Date: Thu, 13 Feb 2020 07:17:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 13:12:55.819313
• Title: Gradient tracking and variance reduction for decentralized optimization and machine learning
• Title（参考訳）: 分散最適化と機械学習のための勾配追従と分散低減
• Authors: Ran Xin, Soummya Kar, Usman A. Khan
• Abstract要約: 有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。 分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 19.54092620537586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized methods to solve finite-sum minimization problems are important in many signal processing and machine learning tasks where the data is distributed over a network of nodes and raw data sharing is not permitted due to privacy and/or resource constraints. In this article, we review decentralized stochastic first-order methods and provide a unified algorithmic framework that combines variance-reduction with gradient tracking to achieve both robust performance and fast convergence. We provide explicit theoretical guarantees of the corresponding methods when the objective functions are smooth and strongly-convex, and show their applicability to non-convex problems via numerical experiments. Throughout the article, we provide intuitive illustrations of the main technical ideas by casting appropriate tradeoffs and comparisons among the methods of interest and by highlighting applications to decentralized training of machine learning models.
• Abstract（参考訳）: ノードのネットワーク上にデータが分散され、プライバシやリソースの制約のために生のデータ共有が許可されない多くの信号処理や機械学習タスクでは、有限サム最小化問題を解決する分散化手法が重要である。 本稿では,分散確率一階法を概観し,分散還元法と勾配追跡法を組み合わせた統一アルゴリズムフレームワークを提供し,ロバスト性能と高速収束を実現する。 対象関数が滑らかで強凸である場合、対応する方法の明示的な理論的保証を提供し、数値実験による非凸問題への適用性を示す。 本稿では,機械学習モデルの分散トレーニングへの応用を強調することで,適切なトレードオフや比較を行い,主技術アイデアを直感的に表現する。

関連論文リスト

• Robust Decentralized Learning with Local Updates and Gradient Tracking [16.46727164965154]
  分散学習をクライアントやノードのネットワークとみなす。 本稿では,局所的な更新と勾配追跡という2つの重要なデータを利用する分散化ミニマックス最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-05-02T03:03:34Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Federated Learning with a Sampling Algorithm under Isoperimetry [9.990687944474738]
  フェデレーション学習は、機械学習アルゴリズムのトレーニングを複数のデバイスに効率的に分散するために、一連のテクニックを使用する。 本稿では,Langevinvin のサンプル Aafteri の通信効率のよい変種を提案する。
  論文  参考訳（メタデータ） (2022-06-02T08:19:03Z)
• Communication-Efficient Distributionally Robust Decentralized Learning [23.612400109629544]
  分散学習アルゴリズムは、相互接続されたエッジデバイスにデータと計算資源を共有する権限を与える。 そこで本研究では,単一分散ループ降下/上昇アルゴリズム(ADGDA)を提案し,その基礎となるミニマックス最適化問題を解く。
  論文  参考訳（メタデータ） (2022-05-31T09:00:37Z)
• Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
  本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
  論文  参考訳（メタデータ） (2021-10-07T10:04:32Z)
• Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
  本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。 この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。 両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-14T10:36:25Z)
• Decentralized Deep Learning using Momentum-Accelerated Consensus [15.333413663982874]
  複数のエージェントが協調して分散データセットから学習する分散ディープラーニングの問題を考える。 本稿では,エージェントが固定された通信トポロジ上で対話する分散ディープラーニングアルゴリズムを提案し,解析する。 本アルゴリズムは,勾配に基づくプロトコルで用いられるヘビーボール加速度法に基づく。
  論文  参考訳（メタデータ） (2020-10-21T17:39:52Z)
• A general framework for decentralized optimization with first-order methods [11.50057411285458]
  ノードネットワーク上の関数の有限和を最小化する分散最適化は、制御と信号処理の研究において重要な焦点となっている。 高度なコンピューティングと大規模データサイエンスの必要性の出現は、この分野における活動の復活につながった。 本稿では、制御、信号処理、機械学習問題に多大な成功を収めた分散一階勾配法について論じる。
  論文  参考訳（メタデータ） (2020-09-12T17:52:10Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。