論文の概要: Communication-Efficient Zeroth-Order Distributed Online Optimization:
Algorithm, Theory, and Applications
- arxiv url: http://arxiv.org/abs/2306.05655v1
- Date: Fri, 9 Jun 2023 03:51:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 14:59:38.469854
- Title: Communication-Efficient Zeroth-Order Distributed Online Optimization:
Algorithm, Theory, and Applications
- Title(参考訳): 通信効率の良いゼロ階分散オンライン最適化:アルゴリズム,理論,応用
- Authors: Ege C. Kaya, M. Berk Sahin and Abolfazl Hashemi
- Abstract要約: 本稿では,目標追跡のためのフェデレーション学習環境におけるマルチエージェントゼロ階オンライン最適化問題に焦点を当てる。
提案手法は、2つの関連するアプリケーションにおけるエラーとエラーの観点からさらに解析される。
- 参考スコア(独自算出の注目度): 9.045332526072828
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper focuses on a multi-agent zeroth-order online optimization problem
in a federated learning setting for target tracking. The agents only sense
their current distances to their targets and aim to maintain a minimum safe
distance from each other to prevent collisions. The coordination among the
agents and dissemination of collision-prevention information is managed by a
central server using the federated learning paradigm. The proposed formulation
leads to an instance of distributed online nonconvex optimization problem that
is solved via a group of communication-constrained agents. To deal with the
communication limitations of the agents, an error feedback-based compression
scheme is utilized for agent-to-server communication. The proposed algorithm is
analyzed theoretically for the general class of distributed online nonconvex
optimization problems. We provide non-asymptotic convergence rates that show
the dominant term is independent of the characteristics of the compression
scheme. Our theoretical results feature a new approach that employs
significantly more relaxed assumptions in comparison to standard literature.
The performance of the proposed solution is further analyzed numerically in
terms of tracking errors and collisions between agents in two relevant
applications.
- Abstract(参考訳): 本稿では,目標追跡のための連合学習環境におけるマルチエージェントゼロ階オンライン最適化問題に焦点を当てた。
エージェントは目標に対する現在の距離を感知し、衝突を防ぐために互いに最小限の安全な距離を維持することを目的としている。
連合学習パラダイムを用いて、中央サーバによりエージェント間の協調と衝突防止情報の拡散を管理する。
提案手法は, 分散オンライン非凸最適化問題の一例となり, 通信制約エージェント群によって解決される。
エージェントの通信制限に対処するために,エラーフィードバックに基づく圧縮スキームを用いてエージェント間通信を行う。
提案アルゴリズムは,分散オンライン非凸最適化問題の一般クラスに対して理論的に解析する。
圧縮スキームの特性とは独立して支配的な項を示す非漸近収束率を提供する。
我々の理論結果は、標準文献と比較してはるかに緩やかな仮定を取り入れた新しいアプローチを特徴としている。
提案手法の性能は,2つの関連アプリケーションにおけるエージェント間の衝突やエラーの追跡の観点から数値的に解析される。
関連論文リスト
- Adaptive Consensus: A network pruning approach for decentralized
optimization [0.5432724320036953]
ネットワーク内の各ノードが局所関数を持つネットワークベースの分散最適化問題を考える。
目的は、すべての局所関数の和を最小化するコンセンサス解を集合的に達成することである。
本稿では,通信量を削減する適応的ランダム化通信効率アルゴリズムフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-06T00:28:10Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳(メタデータ) (2023-04-07T13:41:08Z) - Quantization for decentralized learning under subspace constraints [61.59416703323886]
エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。
本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。
この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
論文 参考訳(メタデータ) (2022-09-16T09:38:38Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳(メタデータ) (2021-12-03T19:23:48Z) - Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。
$varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。
この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
論文 参考訳(メタデータ) (2021-10-24T04:03:00Z) - DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳(メタデータ) (2021-10-04T03:17:41Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳(メタデータ) (2021-08-19T13:19:54Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳(メタデータ) (2020-11-03T13:35:53Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。