論文の概要: Revisiting Decentralized Online Convex Optimization with Compressed Communication

• arxiv url: http://arxiv.org/abs/2607.01665v1
• Date: Thu, 02 Jul 2026 03:45:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.654283
• Title: Revisiting Decentralized Online Convex Optimization with Compressed Communication
• Title（参考訳）: 圧縮通信による分散オンライン凸最適化の再検討
• Authors: Hao Zhou, Xiaoyu Wang, Chang Yao, Mingli Song, Yuanyu Wan,
• Abstract要約: 圧縮通信を用いた2つのFTRL型D-OCOアルゴリズムを提案する。 我々の最初のアルゴリズムは、全情報設定を考慮し、既存の後悔の限界と一致させることができる。 第2のアルゴリズムは帯域設定のために設計されており、後悔の限界と通信コストの両方を大幅に改善することができる。
• 参考スコア（独自算出の注目度）: 68.72667170947358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized online convex optimization (D-OCO) is a popular framework for distributed applications with streaming data. To tackle the communication bottleneck, previous studies have investigated D-OCO with compressed communication and proposed several algorithms that are variants of online gradient descent (OGD). However, for D-OCO with exact communication, the best existing algorithms are variants of follow-the-regularized-leader (FTRL). In this paper, for the first time, we propose two FTRL-type algorithms for D-OCO with compressed communication. Compared with OGD-type algorithms, our algorithms are more elegant in both algorithmic design and theoretical analysis. The key insight is that the dual update mechanism of FTRL allows us to make a simple application of the technique for average consensus with communication compression. More specifically, our first algorithm considers the full-information setting, and can match the existing regret bounds. Our second algorithm is designed for the bandit setting, and can significantly improve both the regret bounds and communication costs of existing algorithms.
• Abstract（参考訳）: 分散オンライン凸最適化(D-OCO)は、ストリーミングデータを備えた分散アプリケーションのための一般的なフレームワークである。 通信ボトルネックに対処するため、従来の研究では、圧縮通信を用いてD-OCOを調査し、オンライン勾配降下(OGD)の変種であるいくつかのアルゴリズムを提案した。 しかし、正確な通信を行うD-OCOでは、最も優れたアルゴリズムは追従正規化リーダ(FTRL)の変種である。 本稿では,D-OCO圧縮通信のための2つのFTRL型アルゴリズムを初めて提案する。 OGD型アルゴリズムと比較すると,アルゴリズム設計と理論解析の両面で,アルゴリズムはよりエレガントである。 鍵となる洞察は、FTRLの二重更新機構は、通信圧縮による平均コンセンサスのためのテクニックの簡単な応用を可能にすることである。 より具体的には、我々の最初のアルゴリズムは、完全な情報設定を考慮し、既存の後悔の限界と一致させることができる。 第2のアルゴリズムは帯域設定のために設計されており、既存のアルゴリズムの残差境界と通信コストの両方を大幅に改善することができる。

関連論文リスト

• BiCoLoR: Communication-Efficient Optimization with Bidirectional Compression and Local Training [50.334494587223304]
  BiCoLoRは、ローカルトレーニングと圧縮という2つの広く使われている戦略を組み合わせた通信効率の最適化アルゴリズムである。 BiCoLoRは既存のアルゴリズムより優れており、通信効率の新たな標準を確立している。
  論文  参考訳（メタデータ） (2026-01-18T13:23:27Z)
• On Linear Convergence of PI Consensus Algorithm under the Restricted Secant Inequality [5.35599092568615]
  本稿では,ピアツーピアマルチエージェントネットワークにおける分散最適化問題について考察する。 比例積分 (PI) 制御戦略を用いることで, 固定段数をもつ様々なアルゴリズムが開発されている。
  論文  参考訳（メタデータ） (2023-09-30T15:54:52Z)
• DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization [43.31016937305845]
  インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。 非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。 詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
  論文  参考訳（メタデータ） (2021-10-04T03:17:41Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Distributed Learning and Democratic Embeddings: Polynomial-Time Source Coding Schemes Can Achieve Minimax Lower Bounds for Distributed Gradient Descent under Communication Constraints [46.17631511884969]
  我々は、n次元ユークリッド空間においてベクトルを圧縮する問題を考える。 数値化器の被覆効率が次元独立であるか、あるいは非常に弱い対数依存であるという意味では、民主主義的および民主的に近いソースコーディングスキームが(ほぼ)最適であることを示す。 分散最適化アルゴリズムDGD-DEFを提案する。このアルゴリズムは,提案した符号化戦略を用いて,(ほぼ)定数要素内における最小収束率を実現する。
  論文  参考訳（メタデータ） (2021-03-13T00:04:11Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• Optimal and Practical Algorithms for Smooth and Strongly Convex Decentralized Optimization [21.555331273873175]
  ネットワークのノードにまたがるスムーズな凸関数の和を分散化最小化する作業について検討する。 本稿では,この分散最適化問題に対する2つの新しいアルゴリズムを提案し,複雑性を保証する。
  論文  参考訳（メタデータ） (2020-06-21T11:23:20Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。