論文の概要: Non-Coherent Over-the-Air Decentralized Gradient Descent
- arxiv url: http://arxiv.org/abs/2211.10777v2
- Date: Tue, 19 Mar 2024 00:53:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 01:51:05.885420
- Title: Non-Coherent Over-the-Air Decentralized Gradient Descent
- Title(参考訳): 非コヒーレントオーバーザエア分散グラディエント染料
- Authors: Nicolo Michelusi,
- Abstract要約: Decentralized Gradient Descent (DGD) は分散最適化問題の解法としてよく用いられるアルゴリズムである。
本稿では,無線システムに適したDGDアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized Gradient Descent (DGD) is a popular algorithm used to solve decentralized optimization problems in diverse domains such as remote sensing, distributed inference, multi-agent coordination, and federated learning. Yet, executing DGD over wireless systems affected by noise, fading and limited bandwidth presents challenges, requiring scheduling of transmissions to mitigate interference and the acquisition of topology and channel state information -- complex tasks in wireless decentralized systems. This paper proposes a DGD algorithm tailored to wireless systems. Unlike existing approaches, it operates without inter-agent coordination, topology information, or channel state information. Its core is a Non-Coherent Over-The-Air (NCOTA) consensus scheme, exploiting a noisy energy superposition property of wireless channels. With a randomized transmission strategy to accommodate half-duplex operation, transmitters map local optimization signals to energy levels across subcarriers in an OFDM frame, and transmit concurrently without coordination. It is shown that received energies form a noisy consensus signal, whose fluctuations are mitigated via a consensus stepsize. NCOTA-DGD leverages the channel pathloss for consensus formation, without explicit knowledge of the mixing weights. It is shown that, for the class of strongly-convex problems, the expected squared distance between the local and globally optimum models vanishes with rate $\mathcal O(1/\sqrt{k})$ after $k$ iterations, with a proper design of decreasing stepsizes. Extensions address a broad class of fading models and frequency-selective channels. Numerical results on an image classification task depict faster convergence vis-\`a-vis running time than state-of-the-art schemes, especially in densely deployed networks.
- Abstract(参考訳): Decentralized Gradient Descent (DGD) は、リモートセンシング、分散推論、マルチエージェント調整、フェデレーション学習など、さまざまな領域における分散最適化問題を解決するために使われる一般的なアルゴリズムである。
しかし、ノイズ、フェード、帯域幅の制限によって影響を受ける無線システム上でDGDを実行することは、干渉を軽減するために送信のスケジューリングが必要であり、また、無線分散システムにおける複雑なタスクであるトポロジとチャネル状態情報を取得する必要がある。
本稿では,無線システムに適したDGDアルゴリズムを提案する。
既存のアプローチとは異なり、エージェント間の調整、トポロジー情報、チャネル状態情報なしで動作している。
その中核は非コヒーレントオーバー・ザ・エア(NCOTA)コンセンサススキームであり、無線チャネルのノイズの多いエネルギー重畳特性を利用する。
半二重演算に対応するランダム化された伝送戦略により、送信機はOFDMフレーム内のサブキャリア全体のエネルギーレベルに局所最適化信号をマッピングし、調整なしで同時に送信する。
受信したエネルギーは雑音の多いコンセンサス信号を形成し、その変動はコンセンサスステップサイズによって緩和される。
NCOTA-DGDはチャネルパスロスを利用してコンセンサスを形成する。
強凸問題のクラスでは、局所的モデルと大域的最適モデルの間の期待二乗距離が$$\mathcal O(1/\sqrt{k})$ の後に消失し、ステップサイズを減少させる適切な設計が示される。
拡張は、幅広い種類のフェージングモデルと周波数選択チャネルに対処する。
画像分類タスクの数値的な結果は、特に密に配置されたネットワークにおいて、最先端のスキームよりも高速な収束 vis-\`a-vis 実行時間を示している。
関連論文リスト
- Multi-Flow Transmission in Wireless Interference Networks: A Convergent
Graph Learning Approach [9.852567834643292]
ネットワークデータ信号の2段階干渉対応マルチフロー最適化(DIAMOND)という新しいアルゴリズムを提案する。
集中型ステージは、グラフニューラルネットワーク(GNN)強化学習(RL)ルーティングエージェントの新しい設計を用いて、マルチフロー伝送戦略を計算する。
そして、分散学習更新の新しい設計に基づいて、分散ステージにより性能が向上する。
論文 参考訳(メタデータ) (2023-03-27T18:49:47Z) - Decentralized Federated Reinforcement Learning for User-Centric Dynamic
TFDD Control [37.54493447920386]
非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。
分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。
本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-11-04T07:39:21Z) - Bandwidth-efficient distributed neural network architectures with
application to body sensor networks [73.02174868813475]
本稿では,分散ニューラルネットワークアーキテクチャを設計するための概念設計手法について述べる。
提案手法により,損失を最小限に抑えつつ,最大20倍の帯域幅削減が可能となることを示す。
本稿では,ウェアラブル脳-コンピュータインタフェースに焦点をあてるが,他のセンサネットワークアプリケーションにも適用できる。
論文 参考訳(メタデータ) (2022-10-14T12:35:32Z) - Deep Reinforcement Learning for Wireless Scheduling in Distributed
Networked Control [56.77877237894372]
この研究は、分散植物、センサー、アクチュエータ、コントローラを備えた完全な分散WNCSを考慮し、限られた数の周波数チャネルを共有する。
最適な送信スケジューリング問題を決定プロセス問題に定式化し、それを解くための深層強化学習アルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-09-26T11:27:12Z) - Over-the-Air Decentralized Federated Learning [28.593149477080605]
本稿では,無線ネットワーク上での分散化フェデレーション学習(FL)について考察する。そこでは,デバイス間通信(D2D)におけるローカルモデルコンセンサスを促進するために,オーバー・ザ・エア計算(AirComp)が採用されている。
本稿では,D2D通信における事前符号化と復号化の両手法を組み込んだ,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。
提案アルゴリズムは線形に収束し, チャネルのフェージングとノイズを考慮した, 強い凸関数と滑らかな損失関数の最適性ギャップを確立する。
論文 参考訳(メタデータ) (2021-06-15T09:42:33Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳(メタデータ) (2021-06-15T09:03:28Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳(メタデータ) (2021-06-02T07:36:27Z) - Decentralized Learning for Channel Allocation in IoT Networks over
Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game [134.88020946767404]
本稿では,プライマリセルネットワークにライセンスされたスペクトルに基づいて,アドホックなモノのインターネットネットワークにおける分散チャネル割り当て問題について検討する。
本研究では,この問題をコンテキスト型マルチプレイヤー・マルチアームバンディットゲームにマッピングし,試行錯誤による純粋に分散化された3段階ポリシー学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-03-30T10:05:35Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳(メタデータ) (2020-03-18T05:56:27Z) - Decentralized SGD with Over-the-Air Computation [13.159777131162961]
無線ネットワークにおける分散数値勾配降下(DSGD)の性能について検討する。
伝送は付加的なノイズや干渉を生じやすいと仮定する。
OAC-MAC方式はより少ない通信ラウンドでコンバージェンス性能が向上することを示す。
論文 参考訳(メタデータ) (2020-03-06T15:33:59Z) - Network-Density-Controlled Decentralized Parallel Stochastic Gradient
Descent in Wireless Systems [6.574517227976925]
分散並列勾配勾配(D-PSGD)は、分散学習のための最先端アルゴリズムの1つである。
ネットワークトポロジの密度がD-PSGDの実行性能に大きく影響する可能性がある。
本稿では,各ノードが最適な伝送速度を推定する通信戦略を提案する。
論文 参考訳(メタデータ) (2020-02-25T09:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。