論文の概要: Non-Coherent Over-the-Air Decentralized Gradient Descent

• arxiv url: http://arxiv.org/abs/2211.10777v4
• Date: Wed, 11 Sep 2024 23:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 22:51:28.646628
• Title: Non-Coherent Over-the-Air Decentralized Gradient Descent
• Title（参考訳）: 非コヒーレントオーバーザエア分散グラディエント染料
• Authors: Nicolo' Michelusi,
• Abstract要約: 無線システムにおける分散グラディエントDescentの実装は、ノイズ、フェーディング、帯域幅の制限により困難である。 本稿では,スケジューリング,トポロジ情報,CSIの必要性を解消するスケーラブルなDGDアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implementing Decentralized Gradient Descent (DGD) in wireless systems is challenging due to noise, fading, and limited bandwidth, necessitating topology awareness, transmission scheduling, and the acquisition of channel state information (CSI) to mitigate interference and maintain reliable communications. These operations may result in substantial signaling overhead and scalability challenges in large networks lacking central coordination. This paper introduces a scalable DGD algorithm that eliminates the need for scheduling, topology information, or CSI (both average and instantaneous). At its core is a Non-Coherent Over-The-Air (NCOTA) consensus scheme that exploits a noisy energy superposition property of wireless channels. Nodes encode their local optimization signals into energy levels within an OFDM frame and transmit simultaneously, without coordination. The key insight is that the received energy equals, on average, the sum of the energies of the transmitted signals, scaled by their respective average channel gains, akin to a consensus step. This property enables unbiased consensus estimation, utilizing average channel gains as mixing weights, thereby removing the need for their explicit design or for CSI. Introducing a consensus stepsize mitigates consensus estimation errors due to energy fluctuations around their expected values. For strongly-convex problems, it is shown that the expected squared distance between the local and globally optimum models vanishes at a rate of O(1/sqrt{k}) after k iterations, with suitable decreasing learning and consensus stepsizes. Extensions accommodate a broad class of fading models and frequency-selective channels. Numerical experiments on image classification demonstrate faster convergence in terms of running time compared to state-of-the-art schemes, especially in dense network scenarios.
• Abstract（参考訳）: 無線システムにおけるDGDの実装は、ノイズ、フェーディング、帯域幅の制限、トポロジ認識、送信スケジューリング、干渉を緩和し信頼性の高い通信を維持するためにチャネル状態情報(CSI)の取得を必要とするため、困難である。 これらの操作は、中央調整が欠如している大規模ネットワークにおいて、オーバヘッドとスケーラビリティの重大なシグナリングをもたらす可能性がある。 本稿では、スケジューリング、トポロジ情報、CSI(平均と瞬時の両方)の必要性を解消するスケーラブルなDGDアルゴリズムを提案する。 中心となるのは、無線チャネルのノイズの多いエネルギー重畳特性を利用する非コヒーレントオーバー・ザ・エア(NCOTA)コンセンサススキームである。 ノードはローカル最適化信号をOFDMフレーム内のエネルギーレベルにエンコードし、調整することなく同時に送信する。 重要な洞察は、受信したエネルギーが平均的に、それぞれの平均チャネルゲインによってスケールされた送信信号のエネルギーの合計と、コンセンサスステップと等しいことである。 この特性は、平均チャネルゲインを混合重みとして利用し、明示的な設計やCSIの必要性を排除し、バイアスのないコンセンサス推定を可能にする。 コンセンサスのステップ化の導入は、期待値の周りのエネルギー変動によるコンセンサス推定誤差を緩和する。 強凸問題に対して、局所最適モデルと大域最適モデルの間の期待二乗距離は k 反復の後に O(1/sqrt{k}) の速度で消失し、学習とコンセンサスを適切に減少させる。 拡張は幅広い種類のフェージングモデルと周波数選択チャネルに対応している。 画像分類に関する数値実験は、特に高密度ネットワークシナリオにおいて、最先端のスキームと比較して、実行時間での収束が速いことを示す。

関連論文リスト

• Decentralized Optimization in Time-Varying Networks with Arbitrary Delays [22.40154714677385]
  通信遅延によるネットワークの分散最適化問題を考察する。 そのようなネットワークの例としては、協調機械学習、センサーネットワーク、マルチエージェントシステムなどがある。 通信遅延を模倣するため、ネットワークに仮想非計算ノードを追加し、有向グラフを生成する。
  論文  参考訳（メタデータ） (2024-05-29T20:51:38Z)
• TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising [94.09442506816724]
  BSN(Blind-spot Network)は、自己教師型イメージデノベーション(SSID)において一般的なネットワークアーキテクチャである。 本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。 空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。 チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。
  論文  参考訳（メタデータ） (2024-04-11T15:39:10Z)
• SINR-Aware Deep Reinforcement Learning for Distributed Dynamic Channel Allocation in Cognitive Interference Networks [10.514231683620517]
  本稿では,複数の大規模ネットワークによるキャリヤ間干渉(ICI)とチャネル再利用を経験する実世界のシステムに焦点を当てる。 CARLTON(Channel Allocation RL To Overlapped Networks)と呼ばれる分散DCAのための新しいマルチエージェント強化学習フレームワークを提案する。 本結果は,従来の最先端手法に比べて優れた効率性を示し,優れた性能とロバストな一般化を示した。
  論文  参考訳（メタデータ） (2024-02-17T20:03:02Z)
• Decentralized Learning over Wireless Networks with Broadcast-Based Subgraph Sampling [36.99249604183772]
  この研究は、コンセンサスに基づく分散降下(D-SGD)を用いた、無線ネットワーク上の分散学習のコミュニケーション面を中心にしている。 ネットワーク内情報交換による実際の通信コストや遅延を考慮すると,送信スロット毎の改善によって測定されたアルゴリズムの高速収束を実現することが目的である。 本稿では,無線ネットワーク上でのD-SGDの効率的な通信フレームワークであるBASSを提案する。
  論文  参考訳（メタデータ） (2023-10-24T18:15:52Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Bandwidth-efficient distributed neural network architectures with application to body sensor networks [73.02174868813475]
  本稿では,分散ニューラルネットワークアーキテクチャを設計するための概念設計手法について述べる。 提案手法により,損失を最小限に抑えつつ,最大20倍の帯域幅削減が可能となることを示す。 本稿では,ウェアラブル脳-コンピュータインタフェースに焦点をあてるが,他のセンサネットワークアプリケーションにも適用できる。
  論文  参考訳（メタデータ） (2022-10-14T12:35:32Z)
• Over-the-Air Decentralized Federated Learning [28.593149477080605]
  本稿では,無線ネットワーク上での分散化フェデレーション学習(FL)について考察する。そこでは,デバイス間通信(D2D)におけるローカルモデルコンセンサスを促進するために,オーバー・ザ・エア計算(AirComp)が採用されている。 本稿では,D2D通信における事前符号化と復号化の両手法を組み込んだ,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。 提案アルゴリズムは線形に収束し, チャネルのフェージングとノイズを考慮した, 強い凸関数と滑らかな損失関数の最適性ギャップを確立する。
  論文  参考訳（メタデータ） (2021-06-15T09:42:33Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)
• Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game [134.88020946767404]
  本稿では,プライマリセルネットワークにライセンスされたスペクトルに基づいて,アドホックなモノのインターネットネットワークにおける分散チャネル割り当て問題について検討する。 本研究では,この問題をコンテキスト型マルチプレイヤー・マルチアームバンディットゲームにマッピングし,試行錯誤による純粋に分散化された3段階ポリシー学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-30T10:05:35Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)
• Decentralized SGD with Over-the-Air Computation [13.159777131162961]
  無線ネットワークにおける分散数値勾配降下(DSGD)の性能について検討する。 伝送は付加的なノイズや干渉を生じやすいと仮定する。 OAC-MAC方式はより少ない通信ラウンドでコンバージェンス性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-03-06T15:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。