論文の概要: Advances in Asynchronous Parallel and Distributed Optimization
- arxiv url: http://arxiv.org/abs/2006.13838v1
- Date: Wed, 24 Jun 2020 16:10:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 09:58:41.670431
- Title: Advances in Asynchronous Parallel and Distributed Optimization
- Title（参考訳）: 非同期並列と分散最適化の進歩
- Authors: Mahmoud Assran, Arda Aytekin, Hamid Feyzmahdavian, Mikael Johansson,
and Michael Rabbat
- Abstract要約: 非同期メソッドは最適化変数の一貫性のあるビューを維持するためにすべてのプロセッサを必要としない。
それらはストラグラー(遅いノード)や信頼できない通信リンクのような問題に敏感ではない。
本稿では,非同期最適化手法の設計と解析における最近の進歩について概説する。
- 参考スコア（独自算出の注目度）: 11.438194383787604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by large-scale optimization problems arising in the context of
machine learning, there have been several advances in the study of asynchronous
parallel and distributed optimization methods during the past decade.
Asynchronous methods do not require all processors to maintain a consistent
view of the optimization variables. Consequently, they generally can make more
efficient use of computational resources than synchronous methods, and they are
not sensitive to issues like stragglers (i.e., slow nodes) and unreliable
communication links. Mathematical modeling of asynchronous methods involves
proper accounting of information delays, which makes their analysis
challenging. This article reviews recent developments in the design and
analysis of asynchronous optimization methods, covering both centralized
methods, where all processors update a master copy of the optimization
variables, and decentralized methods, where each processor maintains a local
copy of the variables. The analysis provides insights as to how the degree of
asynchrony impacts convergence rates, especially in stochastic optimization
methods.
- Abstract（参考訳）: 機械学習の文脈で発生する大規模最適化問題により、過去10年間に非同期並列および分散最適化手法の研究にいくつかの進歩があった。
非同期メソッドは最適化変数の一貫性のあるビューを維持するためにすべてのプロセッサを必要としない。
したがって、同期法よりも計算資源をより効率的に利用することができ、ストラグラー(すなわち遅いノード)や信頼できない通信リンクのような問題に敏感ではない。
非同期手法の数学的モデリングは、情報遅延の適切な計算を伴い、解析を困難にする。
本稿では,最適化変数のマスタコピーを全プロセッサが更新する集中型手法と,各プロセッサが変数のローカルコピーを保守する分散型手法の両方について,非同期最適化手法の設計と解析の最近の展開を概説する。
この分析は、特に確率的最適化法において、非同期性の程度が収束率にどのように影響するかについての洞察を与える。
関連論文リスト
- MUSIC: Accelerated Convergence for Distributed Optimization With Inexact
and Exact Methods [6.800113478497425]
本稿では,MUSICと名づけられた高速化されたフレームワークを提案し,各エージェントが複数のローカル更新と1つの組み合わせをイテレーション毎に実行できるようにする。
そこで我々は, 線形収束を高速化し, 通信効率を向上する2つの新しいアルゴリズムを考案した。
論文 参考訳（メタデータ） (2024-03-05T02:02:00Z) - Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity [85.92481138826949]
我々は,従来の集中型手法の時間的複雑さを確実に改善する新しい手法であるShadowheart SGDを開発した。
また、サーバからワーカーへのブロードキャストが無視できない双方向設定も検討し、対応する方法を開発した。
論文 参考訳（メタデータ） (2024-02-07T12:15:56Z) - Asynchronous Distributed Optimization with Delay-free Parameters [9.062164411594175]
本稿では,2つの分散アルゴリズム, Prox-DGD と DGD-ATC の非同期バージョンを開発し,無方向性ネットワーク上でのコンセンサス最適化問題を解く。
代替アルゴリズムとは対照的に,我々のアルゴリズムは,遅延に依存しないステップサイズを用いて,同期アルゴリズムの固定点集合に収束することができる。
論文 参考訳（メタデータ） (2023-12-11T16:33:38Z) - Massively Parallel Genetic Optimization through Asynchronous Propagation
of Populations [50.591267188664666]
Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。
提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。
Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
論文 参考訳（メタデータ） (2023-01-20T18:17:34Z) - Asynchronous Decentralized Bayesian Optimization for Large Scale
Hyperparameter Optimization [13.89136187674851]
BOでは、パラメータ構成と性能の関係を学習するために、計算的に安価にサロゲートモデルを用いる。
本稿では非同期分散BOを提案する。各ワーカーがシーケンシャルBOを実行し、その結果を共有ストレージを介して非同期に通信する。
計算効率を損なうことなく,作業者の95%以上を並列作業者1,920名に拡張する。
論文 参考訳（メタデータ） (2022-07-01T15:07:56Z) - Decentralized Optimization with Heterogeneous Delays: a Continuous-Time
Approach [6.187780920448871]
非同期アルゴリズムを解析するための新しい連続時間フレームワークを提案する。
我々は,スムーズな凸関数と強い凸関数の和を最小化するために,完全に非同期な分散アルゴリズムを記述する。
論文 参考訳（メタデータ） (2021-06-07T13:09:25Z) - An Efficient Asynchronous Method for Integrating Evolutionary and
Gradient-based Policy Search [76.73477450555046]
本稿では、ESの並列効率を最大化し、ポリシー勾配法と統合する非同期進化戦略強化学習(AES-RL)を提案する。
具体的には、(1)ESとDRLを非同期にマージする新しいフレームワークを提案し、2)非同期、ES、DRLのすべての利点を利用できる様々な非同期更新方法を提案する。
論文 参考訳（メタデータ） (2020-12-10T02:30:48Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Simple and Scalable Parallelized Bayesian Optimization [2.512827436728378]
本稿では,非同期並列設定のためのシンプルでスケーラブルなBO法を提案する。
マルチ層パーセプトロンのベンチマーク関数とハイパーパラメータ最適化を用いて実験を行った。
論文 参考訳（メタデータ） (2020-06-24T10:25:27Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。