論文の概要: Non-Coherent Over-the-Air Decentralized Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2211.10777v1
- Date: Sat, 19 Nov 2022 19:15:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 23:31:28.377207
- Title: Non-Coherent Over-the-Air Decentralized Stochastic Gradient Descent
- Title（参考訳）: 非コヒーレントオーバーザエア分散確率勾配ディフレッシュ
- Authors: Nicolo Michelusi
- Abstract要約: 無線接続システム上での分散機械学習タスクを解決するために,分散グラディエント Descent (DSGD) を提案する。
NCOTA-DSGDは、MNISTデータセット上の画像分類タスクを解くことにより、数値的に評価される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a Decentralized Stochastic Gradient Descent (DSGD)
algorithm to solve distributed machine-learning tasks over wirelessly-connected
systems, without the coordination of a base station. It combines local
stochastic gradient descent steps with a Non-Coherent Over-The-Air (NCOTA)
consensus scheme at the receivers, that enables concurrent transmissions by
leveraging the waveform superposition properties of the wireless channels. With
NCOTA, local optimization signals are mapped to a mixture of orthogonal
preamble sequences and transmitted concurrently over the wireless channel under
half-duplex constraints. Consensus is estimated by non-coherently combining the
received signals with the preamble sequences and mitigating the impact of noise
and fading via a consensus stepsize. NCOTA-DSGD operates without channel state
information (typically used in over-the-air computation schemes for channel
inversion) and leverages the channel pathloss to mix signals, without explicit
knowledge of the mixing weights (typically known in consensus-based
optimization). It is shown that, with a suitable tuning of decreasing consensus
and learning stepsizes, the error (measured as Euclidean distance) between the
local and globally optimum models vanishes with rate $\mathcal O(k^{-1/4})$
after $k$ iterations. NCOTA-DSGD is evaluated numerically by solving an image
classification task on the MNIST dataset, cast as a regularized cross-entropy
loss minimization. Numerical results depict faster convergence vis-\`a-vis
running time than implementations of the classical DSGD algorithm over digital
and analog orthogonal channels, when the number of learning devices is large,
under stringent delay constraints.
- Abstract（参考訳）: 本稿では,無線接続システム上の分散機械学習タスクを,基地局の調整なしに解く分散確率勾配降下(dsgd)アルゴリズムを提案する。
局所確率勾配降下ステップと非コヒーレントオーバーザエア(NCOTA)コンセンサススキームを組み合わせることで、無線チャネルの波形重畳特性を活用することで同時送信を可能にする。
NCOTAでは、局所最適化信号は直交プリアンブルシーケンスの混合にマッピングされ、半二重制約の下で無線チャネル上で同時に送信される。
受信信号とプリアンブルシーケンスを非コヒーレントに結合し、コンセンサスステップを介してノイズやフェーディングの影響を軽減することでコンセンサスを推定する。
NCOTA-DSGDはチャネル状態情報(典型的にはチャネル反転のためのオーバー・ザ・エア計算方式で使用される)なしで動作し、チャネルパスロスを利用して信号の混合を行う。
コンセンサスと学習の段階化を減少させる適切なチューニングにより、局所的および大域的最適モデル間の誤差(ユークリッド距離として測定される)は、$k$反復の後に$\mathcal O(k^{-1/4})$で消滅する。
ncota-dsgdは、mnistデータセット上の画像分類タスクを正則化クロスエントロピー損失最小化として解いて数値的に評価される。
数値計算の結果は,学習装置数が大きい場合,厳密な遅延制約下で,デジタルおよびアナログ直交チャネル上でのdsgdアルゴリズムの実装よりも高速に収束する vis-\`a-vis 実行時間を示す。
関連論文リスト
- Decentralized Optimization in Time-Varying Networks with Arbitrary Delays [22.40154714677385]
通信遅延によるネットワークの分散最適化問題を考察する。
そのようなネットワークの例としては、協調機械学習、センサーネットワーク、マルチエージェントシステムなどがある。
通信遅延を模倣するため、ネットワークに仮想非計算ノードを追加し、有向グラフを生成する。
論文 参考訳（メタデータ） (2024-05-29T20:51:38Z) - TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising [94.09442506816724]
BSN(Blind-spot Network)は、自己教師型イメージデノベーション(SSID)において一般的なネットワークアーキテクチャである。
本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。
空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。
チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。
論文 参考訳（メタデータ） (2024-04-11T15:39:10Z) - SINR-Aware Deep Reinforcement Learning for Distributed Dynamic Channel
Allocation in Cognitive Interference Networks [10.514231683620517]
本稿では,複数の大規模ネットワークによるキャリヤ間干渉(ICI)とチャネル再利用を経験する実世界のシステムに焦点を当てる。
CARLTON(Channel Allocation RL To Overlapped Networks)と呼ばれる分散DCAのための新しいマルチエージェント強化学習フレームワークを提案する。
本結果は,従来の最先端手法に比べて優れた効率性を示し,優れた性能とロバストな一般化を示した。
論文 参考訳（メタデータ） (2024-02-17T20:03:02Z) - Decentralized Learning over Wireless Networks with Broadcast-Based
Subgraph Sampling [36.99249604183772]
この研究は、コンセンサスに基づく分散降下(D-SGD)を用いた、無線ネットワーク上の分散学習のコミュニケーション面を中心にしている。
ネットワーク内情報交換による実際の通信コストや遅延を考慮すると,送信スロット毎の改善によって測定されたアルゴリズムの高速収束を実現することが目的である。
本稿では,無線ネットワーク上でのD-SGDの効率的な通信フレームワークであるBASSを提案する。
論文 参考訳（メタデータ） (2023-10-24T18:15:52Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Bandwidth-efficient distributed neural network architectures with
application to body sensor networks [73.02174868813475]
本稿では,分散ニューラルネットワークアーキテクチャを設計するための概念設計手法について述べる。
提案手法により,損失を最小限に抑えつつ,最大20倍の帯域幅削減が可能となることを示す。
本稿では,ウェアラブル脳-コンピュータインタフェースに焦点をあてるが,他のセンサネットワークアプリケーションにも適用できる。
論文 参考訳（メタデータ） (2022-10-14T12:35:32Z) - Over-the-Air Decentralized Federated Learning [28.593149477080605]
本稿では,無線ネットワーク上での分散化フェデレーション学習(FL)について考察する。そこでは,デバイス間通信(D2D)におけるローカルモデルコンセンサスを促進するために,オーバー・ザ・エア計算(AirComp)が採用されている。
本稿では,D2D通信における事前符号化と復号化の両手法を組み込んだ,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。
提案アルゴリズムは線形に収束し, チャネルのフェージングとノイズを考慮した, 強い凸関数と滑らかな損失関数の最適性ギャップを確立する。
論文 参考訳（メタデータ） (2021-06-15T09:42:33Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳（メタデータ） (2021-06-02T07:36:27Z) - Decentralized Learning for Channel Allocation in IoT Networks over
Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game [134.88020946767404]
本稿では,プライマリセルネットワークにライセンスされたスペクトルに基づいて,アドホックなモノのインターネットネットワークにおける分散チャネル割り当て問題について検討する。
本研究では,この問題をコンテキスト型マルチプレイヤー・マルチアームバンディットゲームにマッピングし,試行錯誤による純粋に分散化された3段階ポリシー学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-30T10:05:35Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳（メタデータ） (2020-03-18T05:56:27Z) - Decentralized SGD with Over-the-Air Computation [13.159777131162961]
無線ネットワークにおける分散数値勾配降下(DSGD)の性能について検討する。
伝送は付加的なノイズや干渉を生じやすいと仮定する。
OAC-MAC方式はより少ない通信ラウンドでコンバージェンス性能が向上することを示す。
論文 参考訳（メタデータ） (2020-03-06T15:33:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。