Fugu-MT 論文翻訳(概要): Optimal and Efficient Algorithms for Decentralized Online Convex Optimization

論文の概要: Optimal and Efficient Algorithms for Decentralized Online Convex Optimization

arxiv url: http://arxiv.org/abs/2402.09173v3
Date: Wed, 11 Dec 2024 06:07:59 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-12 13:58:52.525548
Title: Optimal and Efficient Algorithms for Decentralized Online Convex Optimization
Title（参考訳）: 分散オンライン凸最適化のための最適・効率的なアルゴリズム
Authors: Yuanyu Wan, Tong Wei, Bo Xue, Mingli Song, Lijun Zhang,
Abstract要約: 分散オンライン凸最適化(D-OCO)は、局所計算と通信のみを用いて、グローバルな損失関数の列を最小化するように設計されている。我々は,凸関数と強凸関数の残差を$tildeO(nrho-1/4sqrtT)$と$tildeO(nrho-1/2log T)$に削減できる新しいD-OCOアルゴリズムを開発した。我々の分析によると、射影自由多様体は$O(nT3/4)$と$O(n)を達成できる。
参考スコア（独自算出の注目度）: 51.00357162913229
License:
Abstract: We investigate decentralized online convex optimization (D-OCO), in which a set of local learners are required to minimize a sequence of global loss functions using only local computations and communications. Previous studies have established $O(n^{5/4}\rho^{-1/2}\sqrt{T})$ and ${O}(n^{3/2}\rho^{-1}\log T)$ regret bounds for convex and strongly convex functions respectively, where $n$ is the number of local learners, $\rho<1$ is the spectral gap of the communication matrix, and $T$ is the time horizon. However, there exist large gaps from the existing lower bounds, i.e., $\Omega(n\sqrt{T})$ for convex functions and $\Omega(n)$ for strongly convex functions. To fill these gaps, in this paper, we first develop a novel D-OCO algorithm that can respectively reduce the regret bounds for convex and strongly convex functions to $\tilde{O}(n\rho^{-1/4}\sqrt{T})$ and $\tilde{O}(n\rho^{-1/2}\log T)$. The primary technique is to design an online accelerated gossip strategy that enjoys a faster average consensus among local learners. Furthermore, by carefully exploiting spectral properties of a specific network topology, we enhance the lower bounds for convex and strongly convex functions to $\Omega(n\rho^{-1/4}\sqrt{T})$ and $\Omega(n\rho^{-1/2}\log T)$, respectively. These results suggest that the regret of our algorithm is nearly optimal in terms of $T$, $n$, and $\rho$ for both convex and strongly convex functions. Finally, we propose a projection-free variant of our algorithm to efficiently handle practical applications with complex constraints. Our analysis reveals that the projection-free variant can achieve ${O}(nT^{3/4})$ and ${O}(nT^{2/3}(\log T)^{1/3})$ regret bounds for convex and strongly convex functions with nearly optimal $\tilde{O}(\rho^{-1/2}\sqrt{T})$ and $\tilde{O}(\rho^{-1/2}T^{1/3}(\log T)^{2/3})$ communication rounds, respectively.
Abstract（参考訳）: 分散オンライン凸最適化(D-OCO)について検討し、局所的な計算と通信のみを用いて、グローバルな損失関数の列を最小化するために、一組のローカル学習者が要求される。これまでの研究では、$O(n^{5/4}\rho^{-1/2}\sqrt{T})$および${O}(n^{3/2}\rho^{-1}\log T)$ regret bounds for convex and strong convex function, where $n$ is the number of local learners, $\rho<1$ is the gap of the communication matrix, $T$ is the time horizon。しかし、既存の下界からの大きなギャップ、すなわち凸函数の$Omega(n\sqrt{T})$、強凸函数の$Omega(n)$がある。これらのギャップを埋めるために、まず、凸関数と強凸関数の後悔境界をそれぞれ$\tilde{O}(n\rho^{-1/4}\sqrt{T})$と$\tilde{O}(n\rho^{-1/2}\log T)$に還元できる新しいD-OCOアルゴリズムを開発する。主な手法は,地域学習者の平均コンセンサスを向上するオンライン・アクセラレーション・ゴシップ・ストラテジーを設計することである。さらに、特定のネットワークトポロジーのスペクトル特性を慎重に活用することにより、凸関数と強凸関数の下位境界を、それぞれ$\Omega(n\rho^{-1/4}\sqrt{T})$と$\Omega(n\rho^{-1/2}\log T)$に拡張する。これらの結果から,我々のアルゴリズムの後悔は凸関数と凸関数の両方に対して$T$,$n$,および$\rho$の点でほぼ最適であることが示唆された。最後に,複雑な制約を伴って現実的なアプリケーションを効率的に扱うために,提案アルゴリズムのプロジェクションフリー変種を提案する。我々の分析は、射影自由多様体が${O}(nT^{3/4})$と${O}(nT^{2/3)(\log T)^{1/3})$、ほぼ最適な$\tilde{O}(\rho^{-1/2}\sqrt{T})$と$\tilde{O}(\rho^{-1/2}T^{1/3}(\log T)^{2/3})$通信ラウンドで、凸関数と強凸関数に対する後悔境界をそれぞれ達成できることを明らかにする。

論文の概要: Optimal and Efficient Algorithms for Decentralized Online Convex Optimization

関連論文リスト