Fugu-MT 論文翻訳(概要): On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning

論文の概要: On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning

arxiv url: http://arxiv.org/abs/2210.04626v1
Date: Wed, 5 Oct 2022 12:04:20 GMT
ステータス: 処理完了
システム内更新日: 2022-10-16 15:53:03.177147
Title: On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
Title（参考訳）: 凸最適化問題と機械学習のための順序メッセージやフレキシブル通信の非有界遅延と可能性の可能な並列あるいは分散非同期イテレーションについて
Authors: Didier El Baz (LAAS-SARA)
Abstract要約: 本稿では,非有界遅延や不整合メッセージ,フレキシブル通信など,並列あるいは分散非同期反復アルゴリズムの特徴について述べる。凸最適化問題と機械学習のためのフレキシブル通信を用いた並列あるいは分散非同期反復アルゴリズムの収束結果を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We describe several features of parallel or distributed asynchronous iterative algorithms such as unbounded delays, possible out of order messages or flexible communication. We concentrate on the concept of macroiteration sequence which was introduced in order to study the convergence or termination of asynchronous iterations. A survey of asynchronous iterations for convex optimization problems is also presented. Finally, a new result of convergence for parallel or distributed asynchronous iterative algorithms with flexible communication for convex optimization problems and machine learning is proposed.
Abstract（参考訳）: 本稿では,非有界遅延や不整合メッセージ,フレキシブル通信など,並列あるいは分散非同期反復アルゴリズムの特徴について述べる。非同期反復の収束や終了を研究するために導入されたマクロ化シーケンスの概念に集中する。凸最適化問題に対する非同期反復に関する調査も紹介する。最後に、凸最適化問題と機械学習のためのフレキシブルな通信を伴う並列あるいは分散非同期反復アルゴリズムの収束結果を提案する。

関連論文リスト

Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations [92.1840862558718]
実用的な分散システムでは、労働者は概して均質ではなく、非常に多様な処理時間を持つ。本稿では、任意に遅い計算を扱うための新しい並列手法Freyaを提案する。 Freyaは従来の手法と比較して,複雑性の保証が大幅に向上していることを示す。
論文参考訳（メタデータ） (2024-05-24T13:33:30Z)
DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
論文参考訳（メタデータ） (2024-03-25T22:49:56Z)
Asynchronous Distributed Optimization with Delay-free Parameters [9.062164411594175]
本稿では,2つの分散アルゴリズム, Prox-DGD と DGD-ATC の非同期バージョンを開発し,無方向性ネットワーク上でのコンセンサス最適化問題を解く。代替アルゴリズムとは対照的に,我々のアルゴリズムは,遅延に依存しないステップサイズを用いて,同期アルゴリズムの固定点集合に収束することができる。
論文参考訳（メタデータ） (2023-12-11T16:33:38Z)
Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文参考訳（メタデータ） (2023-02-01T08:50:48Z)
SYNTHESIS: A Semi-Asynchronous Path-Integrated Stochastic Gradient Method for Distributed Learning in Computing Clusters [7.968142741470549]
ulstochastic gradulient ulsearchは、同期および非同期分散学習アルゴリズムの制限を克服するために開発された。 algnameアルゴリズムは(O(sqrtNepsilon-2(Delta+1) d+N))と(O(sqrtNepsilon-2(+1) d+N))を持つ (エプシロン)分散共有メモリアーキテクチャにおける非デルタ学習の定常点
論文参考訳（メタデータ） (2022-08-17T17:42:33Z)
Learning Iterative Robust Transformation Synchronization [71.73273007900717]
グラフニューラルネットワーク(GNN)を用いて変換同期を学習することを提案する。本研究では、ロバストな損失関数のハンドクラフトを回避するとともに、グラフニューラルネットワーク(GNN)を用いて変換同期を学習することを提案する。
論文参考訳（メタデータ） (2021-11-01T07:03:14Z)
Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees [10.984101749941471]
並列および分散最適化アルゴリズムの解析に現れる非同期反復に対する新しい収束結果を紹介する。結果は簡単に適用でき、非同期の度合いが反復の収束率にどのように影響するかを明確に見積もることができる。
論文参考訳（メタデータ） (2021-09-09T19:08:56Z)
Decentralized Optimization with Heterogeneous Delays: a Continuous-Time Approach [6.187780920448871]
非同期アルゴリズムを解析するための新しい連続時間フレームワークを提案する。我々は,スムーズな凸関数と強い凸関数の和を最小化するために,完全に非同期な分散アルゴリズムを記述する。
論文参考訳（メタデータ） (2021-06-07T13:09:25Z)
The Min-Max Complexity of Distributed Stochastic Convex Optimization with Intermittent Communication [61.60069865891783]
間欠的通信環境における分散凸最適化(ログファクタまで)の分極的複雑性を解消する。本稿では、最適なアルゴリズムを確立するための、一致した上限を持つ新しい下界を示す。
論文参考訳（メタデータ） (2021-02-02T16:18:29Z)
Advances in Asynchronous Parallel and Distributed Optimization [11.438194383787604]
非同期メソッドは最適化変数の一貫性のあるビューを維持するためにすべてのプロセッサを必要としない。それらはストラグラー(遅いノード)や信頼できない通信リンクのような問題に敏感ではない。本稿では,非同期最適化手法の設計と解析における最近の進歩について概説する。
論文参考訳（メタデータ） (2020-06-24T16:10:19Z)
Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。