論文の概要: Distributed gradient methods under heavy-tailed communication noise
- arxiv url: http://arxiv.org/abs/2505.24464v1
- Date: Fri, 30 May 2025 11:07:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:52.915287
- Title: Distributed gradient methods under heavy-tailed communication noise
- Title（参考訳）: 重み付き通信雑音下での分散勾配法
- Authors: Manojlo Vukovic, Dusan Jakovetic, Dragana Bajovic, Soummya Kar,
- Abstract要約: ネットワークノードが局所的に知られている凸コストの総和を協調的に最小化する分散最適化の標準的な問題を考える。
ヘビーテールノイズは非常に関連性が高く、密集した無線センサやIoT(Internet of Things)ネットワークで頻繁に発生する。
提案手法は,平均二乗誤差感覚において,ネットワーク全体の問題解の近傍に収束することを示す。
- 参考スコア（独自算出の注目度）: 8.424688018502726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider a standard distributed optimization problem in which networked nodes collaboratively minimize the sum of their locally known convex costs. For this setting, we address for the first time the fundamental problem of design and analysis of distributed methods to solve the above problem when inter-node communication is subject to \emph{heavy-tailed} noise. Heavy-tailed noise is highly relevant and frequently arises in densely deployed wireless sensor and Internet of Things (IoT) networks. Specifically, we design a distributed gradient-type method that features a carefully balanced mixed time-scale time-varying consensus and gradient contribution step sizes and a bounded nonlinear operator on the consensus update to limit the effect of heavy-tailed noise. Assuming heterogeneous strongly convex local costs with mutually different minimizers that are arbitrarily far apart, we show that the proposed method converges to a neighborhood of the network-wide problem solution in the mean squared error (MSE) sense, and we also characterize the corresponding convergence rate. We further show that the asymptotic MSE can be made arbitrarily small through consensus step-size tuning, possibly at the cost of slowing down the transient error decay. Numerical experiments corroborate our findings and demonstrate the resilience of the proposed method to heavy-tailed (and infinite variance) communication noise. They also show that existing distributed methods, designed for finite-communication-noise-variance settings, fail in the presence of infinite variance noise.
- Abstract（参考訳）: ネットワークノードが局所的に知られている凸コストの総和を協調的に最小化する分散最適化の標準的な問題を考える。
この設定のために,ノード間通信が「emph{heavy-tailed}」ノイズを受ける場合,この問題を解決するために,分散手法の設計と解析の基本的な課題を初めて解決する。
ヘビーテールノイズは非常に関連性が高く、密集した無線センサやIoT(Internet of Things)ネットワークで頻繁に発生する。
具体的には,重み付き雑音の影響を抑えるために,時間スケールの時間差コンセンサスと勾配コントリビューションステップサイズを慎重に調整した分散勾配型手法と,コンセンサス更新における境界非線形演算子を設計する。
そこで,提案手法は平均二乗誤差(MSE)の意味でネットワーク全体の問題解の近傍に収束し,対応する収束率も特徴付ける。
さらに、漸近的MSEは、過渡的エラーの減衰を遅くするコストで、コンセンサスステップサイズチューニングによって任意に小さくすることができることを示す。
数値実験により,提案手法の高調波(および無限分散)通信雑音に対するレジリエンスを実証した。
また,有限コミュニケーション・ノイズ分散設定のために設計された既存の分散手法は,無限分散雑音の存在下では失敗することを示した。
関連論文リスト
- DAWN-FM: Data-Aware and Noise-Informed Flow Matching for Solving Inverse Problems [4.212663349859165]
不完全またはノイズの観測からパラメータを推定する逆問題(逆問題)は、医療画像などの様々な分野で発生する。
簡単な参照分布をマップするために決定論的プロセスを統合する生成フレームワークであるフローマッチング(FM)を採用している。
我々の手法DAWN-FM: Data-AWare and Noise-informed Flow Matchingは,データとノイズの埋め込みを組み込んで,測定データに関する表現へのアクセスを可能にする。
論文 参考訳（メタデータ） (2024-12-06T04:18:49Z) - Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。
その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。
その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
論文 参考訳（メタデータ） (2024-06-26T15:11:26Z) - FedNMUT -- Federated Noisy Model Update Tracking Convergence Analysis [3.665841843512992]
分散ノイズモデル更新追跡フェデレート学習アルゴリズム(FedNMUT)を提案する。
ノイズの多い通信チャネルで効率的に機能するように調整されている。
FedNMUTはノイズをパラメータに組み込んで、ノイズの多い通信チャネルの条件を模倣する。
論文 参考訳（メタデータ） (2024-03-20T02:17:47Z) - Dencentralized learning in the presence of low-rank noise [57.18977364494388]
ネットワーク内のエージェントが収集した観測は、観測ノイズや干渉のために信頼性が低い。
本稿では,各ノードが自身の観測の信頼性を向上させる分散アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-18T09:13:57Z) - On Convergence of Federated Averaging Langevin Dynamics [22.013125418713763]
本稿では,分散クライアントを用いた不確実性定量化と平均予測のための平均ランゲヴィンアルゴリズム(FA-LD)を提案する。
非可解データを用いた強対数分布に対するFA-LDの理論的保証を開発する。
部分的なデバイス更新のみが可能な,さまざまな平均化スキームに基づく収束結果を示す。
論文 参考訳（メタデータ） (2021-12-09T18:54:29Z) - Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。
$varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。
この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
論文 参考訳（メタデータ） (2021-10-24T04:03:00Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - A scalable multi-step least squares method for network identification
with unknown disturbance topology [0.0]
本稿では,既知のネットワークトポロジを持つ動的ネットワークの同定手法を提案する。
階調雑音の低減に多段階連続・ヌル空間フィッティング法を用いる。
明示的なBoxモデル構造情報性を含む一貫性証明を提供する。
論文 参考訳（メタデータ） (2021-06-14T16:12:49Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳（メタデータ） (2020-06-02T11:17:55Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳（メタデータ） (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。