論文の概要: MixML: A Unified Analysis of Weakly Consistent Parallel Learning

• arxiv url: http://arxiv.org/abs/2005.06706v2
• Date: Sat, 6 Jun 2020 19:12:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 04:20:29.591766
• Title: MixML: A Unified Analysis of Weakly Consistent Parallel Learning
• Title（参考訳）: MixML: 弱い一貫性を持つ並列学習の統一分析
• Authors: Yucheng Lu, Jack Nash, Christopher De Sa
• Abstract要約: 弱い一貫した並列機械学習の収束を解析するフレームワークであるMixMLを提案する。 本フレームワークは,(1)並列作業者間の通信プロセスの統一的なモデリング方法,(2)通信プロセスが収束に与える影響を定量化する混合時間tmix,(3)逐次アルゴリズムの収束証明をtmixのみに依存する並列バージョンに変換する原理的方法を含む。
• 参考スコア（独自算出の注目度）: 38.487782471687794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parallelism is a ubiquitous method for accelerating machine learning algorithms. However, theoretical analysis of parallel learning is usually done in an algorithm- and protocol-specific setting, giving little insight about how changes in the structure of communication could affect convergence. In this paper we propose MixML, a general framework for analyzing convergence of weakly consistent parallel machine learning. Our framework includes: (1) a unified way of modeling the communication process among parallel workers; (2) a new parameter, the mixing time tmix, that quantifies how the communication process affects convergence; and (3) a principled way of converting a convergence proof for a sequential algorithm into one for a parallel version that depends only on tmix. We show MixML recovers and improves on known convergence bounds for asynchronous and/or decentralized versions of many algorithms, includingSGD and AMSGrad. Our experiments substantiate the theory and show the dependency of convergence on the underlying mixing time.
• Abstract（参考訳）: 並列性は機械学習アルゴリズムを加速するためのユビキタスな方法である。 しかし、並列学習の理論的分析は通常、アルゴリズムとプロトコル固有の設定で行われ、コミュニケーションの構造の変化が収束にどのように影響するかについての洞察はほとんど得られない。 本稿では,弱整合並列機械学習の収束解析のための汎用フレームワークであるmixmlを提案する。 提案手法は,(1)並列作業者間のコミュニケーションプロセスを統一的にモデル化する方法,(2)通信プロセスが収束に与える影響を定量化する新しいパラメータである混合時間tmix,(3)連続アルゴリズムの収束証明をtmixのみに依存する並列バージョンに対して1つに変換する原理的な方法,を含む。 我々は、SGDやAMSGradを含む多くのアルゴリズムの非同期および/または分散バージョンに対するMixMLのリカバリと、既知の収束バウンダリの改善を示す。 実験は理論を実証し,基礎となる混合時間に対する収束の依存性を示す。

関連論文リスト

• AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms [45.90015262911875]
  不均一な環境で分散SGDのための非同期型アルゴリズムを解析する。 また,本分析の副産物として,ランダムなきついSGDのような勾配型アルゴリズムの保証を示す。
  論文  参考訳（メタデータ） (2023-10-31T13:44:53Z)
• DIGEST: Fast and Communication Efficient Decentralized Learning with Local Updates [4.3707341422218215]
  広く検討されている分散学習アルゴリズムは、Gossipとランダムウォークベースの学習である。 高速で通信効率のよい非同期分散学習機構DIGESTを設計する。 我々は、ロジスティック回帰とディープニューラルネットワークResNet20のためのシングルストリームおよびマルチストリームDIGESTの性能を評価する。
  論文  参考訳（メタデータ） (2023-07-14T22:58:20Z)
• Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
  本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
  論文  参考訳（メタデータ） (2021-10-07T10:04:32Z)
• A Two-stage Framework and Reinforcement Learning-based Optimization Algorithms for Complex Scheduling Problems [54.61091936472494]
  本稿では、強化学習(RL)と従来の運用研究(OR)アルゴリズムを組み合わせた2段階のフレームワークを開発する。 スケジューリング問題は,有限マルコフ決定過程 (MDP) と混合整数計画過程 (mixed-integer programming process) の2段階で解決される。 その結果,本アルゴリズムは,アジャイルな地球観測衛星スケジューリング問題に対して,安定かつ効率的に十分なスケジューリング計画を得ることができた。
  論文  参考訳（メタデータ） (2021-03-10T03:16:12Z)
• Federated Learning with Randomized Douglas-Rachford Splitting Methods [30.998685972581754]
  我々は textbfFedDR と textbfDRaa という2つの新しいアルゴリズムを開発した。 解析の結果,新しいアルゴリズムはより低い仮定下での通信効率と一致していることがわかった。
  論文  参考訳（メタデータ） (2021-03-05T03:24:04Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• PSO-PS: Parameter Synchronization with Particle Swarm Optimization for Distributed Training of Deep Neural Networks [16.35607080388805]
  我々はディープニューラルネットワーク(DNN)の分散トレーニングプロセスにParticle Swarm Optimizationを統合する新しいアルゴリズムを提案する。 提案アルゴリズムでは,粒子によって計算処理を符号化し,DNNの重みとトレーニング損失を粒子特性によってモデル化する。 各同期段階では、重みや勾配を平均化する代わりに、すべての労働者から集められたサブウェイトからPSOによって重みが更新される。
  論文  参考訳（メタデータ） (2020-09-06T05:18:32Z)
• Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
  センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。 また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
  論文  参考訳（メタデータ） (2020-09-05T21:44:39Z)
• Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
  モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。 本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
  論文  参考訳（メタデータ） (2020-06-16T19:57:48Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。