論文の概要: An Asynchronous Decentralized Algorithm for Wasserstein Barycenter Problem

• arxiv url: http://arxiv.org/abs/2304.11653v1
• Date: Sun, 23 Apr 2023 13:48:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 17:25:10.498524
• Title: An Asynchronous Decentralized Algorithm for Wasserstein Barycenter Problem
• Title（参考訳）: Wasserstein Barycenter問題に対する非同期分散アルゴリズム
• Authors: Chao Zhang, Hui Qian, Jiahao Xie
• Abstract要約: A$2$DWBはWasserstein Barycenter Problem (WBP)の最初の非同期分散アルゴリズムである 同期のものと違い、A$2$DWBは、古い隣の情報のみに依存する方法でローカル変数を更新する。 実験結果は,最新の同期アルゴリズムと比較して優れた性能を示した。
• 参考スコア（独自算出の注目度）: 15.300260107744197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wasserstein Barycenter Problem (WBP) has recently received much attention in the field of artificial intelligence. In this paper, we focus on the decentralized setting for WBP and propose an asynchronous decentralized algorithm (A$^2$DWB). A$^2$DWB is induced by a novel stochastic block coordinate descent method to optimize the dual of entropy regularized WBP. To our knowledge, A$^2$DWB is the first asynchronous decentralized algorithm for WBP. Unlike its synchronous counterpart, it updates local variables in a manner that only relies on the stale neighbor information, which effectively alleviate the waiting overhead, and thus substantially improve the time efficiency. Empirical results validate its superior performance compared to the latest synchronous algorithm.
• Abstract（参考訳）: Wasserstein Barycenter Problem (WBP)は最近、人工知能の分野で多くの注目を集めている。 本稿では,WBPの分散設定に着目し,非同期分散アルゴリズム(A$^2$DWB)を提案する。 A^2$DWBは、エントロピー正規化WBPの双対を最適化する新しい確率的ブロック座標降下法によって誘導される。 我々の知る限り、A$^2$DWBはWBPのための最初の非同期分散アルゴリズムである。 同期処理とは違い、ローカル変数を静的な隣り合う情報のみに依存する方法で更新することで、待ち時間オーバーヘッドを効果的に軽減し、時間効率を大幅に改善する。 実験結果は,最新の同期アルゴリズムと比較して優れた性能を示した。

関連論文リスト

• Fully First-Order Methods for Decentralized Bilevel Optimization [17.20330936572045]
  本稿では,エージェントが隣人とのみ通信する分散二段階最適化(DSBO)に焦点を当てる。 本稿では,既存の作品に広く採用されている2次オラクルよりもはるかに安価な1次オラクルのみを必要とする新しいアルゴリズムである,分散グラディエントDescent and Ascent with Gradient Tracking (DSGDA-GT)を提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:11:43Z)
• Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks [57.24087627267086]
  通信ネットワークのノード間で分散的に格納された凸関数の総和を最小化するタスクについて検討する。 この問題を解決するのに必要な分散通信数と(サブ)漸進計算の下位境界が確立されている。 我々は,これらの下界に適合する最初の最適アルゴリズムを開発し,既存の最先端技術と比較して理論性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-28T10:28:45Z)
• Decentralized Bilevel Optimization over Graphs: Loopless Algorithmic Update and Transient Iteration Complexity [38.54552875789929]
  単一ループ分散SBO(D-SOBA)アルゴリズムを導入し,その過渡的複雑性を確立する。 D-SOBAは、より緩和された仮定の下で、最先端の速度、勾配/ヘッセンの複雑さ、過渡的な反復の複雑さを達成する。
  論文  参考訳（メタデータ） (2024-02-05T16:35:30Z)
• Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization [13.119144971868632]
  本稿では,グラフ上での非同期SGD(AGRAF SGD)について紹介する。 従来の分散非同期計算処理よりも遥かに穏やかな仮定の下で収束率を提供する。
  論文  参考訳（メタデータ） (2023-11-01T11:58:16Z)
• Energy-Guided Continuous Entropic Barycenter Estimation for General Costs [95.33926437521046]
  任意のOTコスト関数に対して連続的エントロピーOT(EOT)バリセンタを近似する新しいアルゴリズムを提案する。 本手法は、弱いOTに基づくEOT問題の二重再構成に基づいている。
  論文  参考訳（メタデータ） (2023-10-02T11:24:36Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• BlueFog: Make Decentralized Algorithms Practical for Optimization and Deep Learning [29.427785235669358]
  分散アルゴリズムの単純かつ高性能な実装のためのピソンライブラリであるBlueFogを紹介する。 様々な通信操作の統一的な抽象化に基づいて、BlueFogは分散化されたアルゴリズムのスペクトルを実装するための直感的なインタフェースを提供する。 BlueFogは、非常に高いスループットに達し、最先端の分散ディープラーニングパッケージであるHorovodよりも1.2タイムのsim 1.8times$スピードアップを達成した。
  論文  参考訳（メタデータ） (2021-11-08T06:06:39Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。