論文の概要: Compressed Regression over Adaptive Networks
- arxiv url: http://arxiv.org/abs/2304.03638v1
- Date: Fri, 7 Apr 2023 13:41:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 11:56:06.273033
- Title: Compressed Regression over Adaptive Networks
- Title(参考訳): 適応ネットワーク上の圧縮回帰
- Authors: Marco Carpentiero, Vincenzo Matta, Ali H. Sayed
- Abstract要約: 分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
- 参考スコア(独自算出の注目度): 58.79251288443156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work we derive the performance achievable by a network of distributed
agents that solve, adaptively and in the presence of communication constraints,
a regression problem. Agents employ the recently proposed ACTC
(adapt-compress-then-combine) diffusion strategy, where the signals exchanged
locally by neighboring agents are encoded with randomized differential
compression operators. We provide a detailed characterization of the
mean-square estimation error, which is shown to comprise a term related to the
error that agents would achieve without communication constraints, plus a term
arising from compression. The analysis reveals quantitative relationships
between the compression loss and fundamental attributes of the distributed
regression problem, in particular, the stochastic approximation error caused by
the gradient noise and the network topology (through the Perron eigenvector).
We show that knowledge of such relationships is critical to allocate optimally
the communication resources across the agents, taking into account their
individual attributes, such as the quality of their data or their degree of
centrality in the network topology. We devise an optimized allocation strategy
where the parameters necessary for the optimization can be learned online by
the agents. Illustrative examples show that a significant performance
improvement, as compared to a blind (i.e., uniform) resource allocation, can be
achieved by optimizing the allocation by means of the provided
mean-square-error formulas.
- Abstract(参考訳): 本研究は,分散エージェントのネットワークによって実現可能な性能を,通信制約の存在下,適応的に,回帰問題として解決する。
エージェントは、最近提案されたactc(adapt-compress-then-combine)拡散戦略を採用しており、隣接エージェントによってローカルに交換される信号をランダム化された微分圧縮演算子で符号化する。
本研究では, 平均二乗推定誤差の詳細な特徴付けを行い, エージェントが通信制約を伴わずに行う誤差に関連する項と, 圧縮から生じる項とを述べる。
解析により,分散回帰問題の圧縮損失と基本特性,特に勾配雑音による確率的近似誤差とネットワークトポロジ(ペロン固有ベクトル)との定量的関係が明らかになった。
このような関係性に関する知識は,エージェント間の通信資源を最適に割り当てる上で重要であり,そのデータ品質やネットワークトポロジにおける中心性の程度といった個々の特性を考慮している。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
例示的な例では、提供された平均二乗誤差式によって割り当てを最適化することで、ブラインド(すなわち一様)リソース割り当てと比較して、大幅なパフォーマンス改善が達成できることを示している。
関連論文リスト
- Communication-Efficient Zeroth-Order Distributed Online Optimization:
Algorithm, Theory, and Applications [9.045332526072828]
本稿では,目標追跡のためのフェデレーション学習環境におけるマルチエージェントゼロ階オンライン最適化問題に焦点を当てる。
提案手法は、2つの関連するアプリケーションにおけるエラーとエラーの観点からさらに解析される。
論文 参考訳(メタデータ) (2023-06-09T03:51:45Z) - Distributed Finite-Sum Constrained Optimization subject to Nonlinearity
on the Node Dynamics [6.211043407287827]
マルチエージェントネットワーク(MAN)上の凸最適化問題を解くために,分散有限サム(固定サム)割り当て手法を検討する。
本稿では、最適化問題に対する様々な非線形性制約が、分散セットアップ(ネットワーク上の)を介して異なるアプリケーションに対してどのように対処できるかを論じる。
論文 参考訳(メタデータ) (2022-03-28T06:47:01Z) - Learning Resilient Radio Resource Management Policies with Graph Neural
Networks [124.89036526192268]
我々は、ユーザ当たりの最小容量制約でレジリエントな無線リソース管理問題を定式化する。
有限個のパラメータ集合を用いてユーザ選択と電力制御ポリシーをパラメータ化できることを示す。
このような適応により,提案手法は平均レートと5番目のパーセンタイルレートとの良好なトレードオフを実現する。
論文 参考訳(メタデータ) (2022-03-07T19:40:39Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳(メタデータ) (2021-12-03T19:23:48Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳(メタデータ) (2021-08-19T13:19:54Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳(メタデータ) (2020-07-13T02:52:18Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-02-24T11:35:28Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。