論文の概要: Compressed Regression over Adaptive Networks
- arxiv url: http://arxiv.org/abs/2304.03638v1
- Date: Fri, 7 Apr 2023 13:41:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 11:56:06.273033
- Title: Compressed Regression over Adaptive Networks
- Title（参考訳）: 適応ネットワーク上の圧縮回帰
- Authors: Marco Carpentiero, Vincenzo Matta, Ali H. Sayed
- Abstract要約: 分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
- 参考スコア（独自算出の注目度）: 58.79251288443156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work we derive the performance achievable by a network of distributed
agents that solve, adaptively and in the presence of communication constraints,
a regression problem. Agents employ the recently proposed ACTC
(adapt-compress-then-combine) diffusion strategy, where the signals exchanged
locally by neighboring agents are encoded with randomized differential
compression operators. We provide a detailed characterization of the
mean-square estimation error, which is shown to comprise a term related to the
error that agents would achieve without communication constraints, plus a term
arising from compression. The analysis reveals quantitative relationships
between the compression loss and fundamental attributes of the distributed
regression problem, in particular, the stochastic approximation error caused by
the gradient noise and the network topology (through the Perron eigenvector).
We show that knowledge of such relationships is critical to allocate optimally
the communication resources across the agents, taking into account their
individual attributes, such as the quality of their data or their degree of
centrality in the network topology. We devise an optimized allocation strategy
where the parameters necessary for the optimization can be learned online by
the agents. Illustrative examples show that a significant performance
improvement, as compared to a blind (i.e., uniform) resource allocation, can be
achieved by optimizing the allocation by means of the provided
mean-square-error formulas.
- Abstract（参考訳）: 本研究は,分散エージェントのネットワークによって実現可能な性能を,通信制約の存在下,適応的に,回帰問題として解決する。
エージェントは、最近提案されたactc(adapt-compress-then-combine)拡散戦略を採用しており、隣接エージェントによってローカルに交換される信号をランダム化された微分圧縮演算子で符号化する。
本研究では, 平均二乗推定誤差の詳細な特徴付けを行い, エージェントが通信制約を伴わずに行う誤差に関連する項と, 圧縮から生じる項とを述べる。
解析により,分散回帰問題の圧縮損失と基本特性,特に勾配雑音による確率的近似誤差とネットワークトポロジ(ペロン固有ベクトル)との定量的関係が明らかになった。
このような関係性に関する知識は,エージェント間の通信資源を最適に割り当てる上で重要であり,そのデータ品質やネットワークトポロジにおける中心性の程度といった個々の特性を考慮している。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
例示的な例では、提供された平均二乗誤差式によって割り当てを最適化することで、ブラインド(すなわち一様)リソース割り当てと比較して、大幅なパフォーマンス改善が達成できることを示している。
関連論文リスト
- Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。
その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。
その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
論文 参考訳（メタデータ） (2024-06-26T15:11:26Z) - Distributed Event-Based Learning via ADMM [11.461617927469316]
エージェントがネットワーク上で情報を交換することで,グローバルな目的関数を最小限に抑える分散学習問題を考える。
提案手法には2つの特徴がある: (i) 必要なときにのみ通信をトリガーすることで通信を大幅に削減し, (ii) 異なるエージェント間のデータ分散に非依存である。
論文 参考訳（メタデータ） (2024-05-17T08:30:28Z) - Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳（メタデータ） (2024-04-04T06:24:11Z) - Communication-Efficient Zeroth-Order Distributed Online Optimization:
Algorithm, Theory, and Applications [9.045332526072828]
本稿では,目標追跡のためのフェデレーション学習環境におけるマルチエージェントゼロ階オンライン最適化問題に焦点を当てる。
提案手法は、2つの関連するアプリケーションにおけるエラーとエラーの観点からさらに解析される。
論文 参考訳（メタデータ） (2023-06-09T03:51:45Z) - Distributed Finite-Sum Constrained Optimization subject to Nonlinearity
on the Node Dynamics [6.211043407287827]
マルチエージェントネットワーク(MAN)上の凸最適化問題を解くために,分散有限サム(固定サム)割り当て手法を検討する。
本稿では、最適化問題に対する様々な非線形性制約が、分散セットアップ(ネットワーク上の)を介して異なるアプリケーションに対してどのように対処できるかを論じる。
論文 参考訳（メタデータ） (2022-03-28T06:47:01Z) - Learning Resilient Radio Resource Management Policies with Graph Neural
Networks [124.89036526192268]
我々は、ユーザ当たりの最小容量制約でレジリエントな無線リソース管理問題を定式化する。
有限個のパラメータ集合を用いてユーザ選択と電力制御ポリシーをパラメータ化できることを示す。
このような適応により,提案手法は平均レートと5番目のパーセンタイルレートとの良好なトレードオフを実現する。
論文 参考訳（メタデータ） (2022-03-07T19:40:39Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳（メタデータ） (2021-12-03T19:23:48Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。