論文の概要: Non-Coherent Over-the-Air Decentralized Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2211.10777v1
- Date: Sat, 19 Nov 2022 19:15:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 23:31:28.377207
- Title: Non-Coherent Over-the-Air Decentralized Stochastic Gradient Descent
- Title(参考訳): 非コヒーレントオーバーザエア分散確率勾配ディフレッシュ
- Authors: Nicolo Michelusi
- Abstract要約: 無線接続システム上での分散機械学習タスクを解決するために,分散グラディエント Descent (DSGD) を提案する。
NCOTA-DSGDは、MNISTデータセット上の画像分類タスクを解くことにより、数値的に評価される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a Decentralized Stochastic Gradient Descent (DSGD)
algorithm to solve distributed machine-learning tasks over wirelessly-connected
systems, without the coordination of a base station. It combines local
stochastic gradient descent steps with a Non-Coherent Over-The-Air (NCOTA)
consensus scheme at the receivers, that enables concurrent transmissions by
leveraging the waveform superposition properties of the wireless channels. With
NCOTA, local optimization signals are mapped to a mixture of orthogonal
preamble sequences and transmitted concurrently over the wireless channel under
half-duplex constraints. Consensus is estimated by non-coherently combining the
received signals with the preamble sequences and mitigating the impact of noise
and fading via a consensus stepsize. NCOTA-DSGD operates without channel state
information (typically used in over-the-air computation schemes for channel
inversion) and leverages the channel pathloss to mix signals, without explicit
knowledge of the mixing weights (typically known in consensus-based
optimization). It is shown that, with a suitable tuning of decreasing consensus
and learning stepsizes, the error (measured as Euclidean distance) between the
local and globally optimum models vanishes with rate $\mathcal O(k^{-1/4})$
after $k$ iterations. NCOTA-DSGD is evaluated numerically by solving an image
classification task on the MNIST dataset, cast as a regularized cross-entropy
loss minimization. Numerical results depict faster convergence vis-\`a-vis
running time than implementations of the classical DSGD algorithm over digital
and analog orthogonal channels, when the number of learning devices is large,
under stringent delay constraints.
- Abstract(参考訳): 本稿では,無線接続システム上の分散機械学習タスクを,基地局の調整なしに解く分散確率勾配降下(dsgd)アルゴリズムを提案する。
局所確率勾配降下ステップと非コヒーレントオーバーザエア(NCOTA)コンセンサススキームを組み合わせることで、無線チャネルの波形重畳特性を活用することで同時送信を可能にする。
NCOTAでは、局所最適化信号は直交プリアンブルシーケンスの混合にマッピングされ、半二重制約の下で無線チャネル上で同時に送信される。
受信信号とプリアンブルシーケンスを非コヒーレントに結合し、コンセンサスステップを介してノイズやフェーディングの影響を軽減することでコンセンサスを推定する。
NCOTA-DSGDはチャネル状態情報(典型的にはチャネル反転のためのオーバー・ザ・エア計算方式で使用される)なしで動作し、チャネルパスロスを利用して信号の混合を行う。
コンセンサスと学習の段階化を減少させる適切なチューニングにより、局所的および大域的最適モデル間の誤差(ユークリッド距離として測定される)は、$k$反復の後に$\mathcal O(k^{-1/4})$で消滅する。
ncota-dsgdは、mnistデータセット上の画像分類タスクを正則化クロスエントロピー損失最小化として解いて数値的に評価される。
数値計算の結果は,学習装置数が大きい場合,厳密な遅延制約下で,デジタルおよびアナログ直交チャネル上でのdsgdアルゴリズムの実装よりも高速に収束する vis-\`a-vis 実行時間を示す。
関連論文リスト
- Faster Convergence with Less Communication: Broadcast-Based Subgraph
Sampling for Decentralized Learning over Wireless Networks [32.914407967052114]
$texttBASS$はD-SGDの収束を加速するために設計された放送ベースのサブグラフサンプリング手法である。
既存のリンクベースのスケジューリング手法と比較して,送信スロットが少ないため,$texttBASS$はより高速な収束を可能にする。
論文 参考訳(メタデータ) (2024-01-24T20:00:23Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳(メタデータ) (2023-10-16T05:49:28Z) - Wireless Federated $k$-Means Clustering with Non-coherent Over-the-Air
Computation [14.087062902871212]
OACスキームは、バランスの取れた数系における数値の表現を利用するエンコーダに依存している。
非効率なセンチロイドの再初期化法を提案し、不均一なデータ分散のための提案手法の性能を向上させる。
論文 参考訳(メタデータ) (2023-08-11T20:12:26Z) - Deep Reinforcement Learning for IRS Phase Shift Design in
Spatiotemporally Correlated Environments [93.30657979626858]
本稿では,チャネル相関と目的地動きを考慮したディープアクター批判アルゴリズムを提案する。
チャネルが時間的に相関している場合、コンバージェンスを抑制する方法において、関数近似を伴う状態表現にSNRを組み込むことが示される。
論文 参考訳(メタデータ) (2022-11-02T22:07:36Z) - Blind Coherent Preamble Detection via Neural Networks [2.2063018784238984]
ニューラルネットワーク(NN)シークエンス検出器とタイミング先進推定器を提案する。
NNによるプリアンブル検出のプロセス全体を置き換えるものではない。
本稿では,通信路効果を補うために,検出器内の信号を組み合わせたテキストブロードコヒーレントにのみNNを用いることを提案する。
論文 参考訳(メタデータ) (2021-09-30T09:53:49Z) - Semi-Supervised Learning for Channel Charting-Aided IoT Localization in
Millimeter Wave Networks [97.66522637417636]
ミリ波ネットワークにおけるチャネルチャート(CC)支援の新たな枠組みを提案する。
特に,無線機器の3次元位置を推定するために,畳み込み型オートエンコーダモデルを提案する。
フレームワークは半教師付きフレームワークに拡張され、オートエンコーダは2つのコンポーネントに分割される。
論文 参考訳(メタデータ) (2021-08-03T14:41:38Z) - Over-the-Air Decentralized Federated Learning [28.593149477080605]
本稿では,無線ネットワーク上での分散化フェデレーション学習(FL)について考察する。そこでは,デバイス間通信(D2D)におけるローカルモデルコンセンサスを促進するために,オーバー・ザ・エア計算(AirComp)が採用されている。
本稿では,D2D通信における事前符号化と復号化の両手法を組み込んだ,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。
提案アルゴリズムは線形に収束し, チャネルのフェージングとノイズを考慮した, 強い凸関数と滑らかな損失関数の最適性ギャップを確立する。
論文 参考訳(メタデータ) (2021-06-15T09:42:33Z) - Turning Channel Noise into an Accelerator for Over-the-Air Principal
Component Analysis [65.31074639627226]
主成分分析(PCA)は、データセットの線形構造を抽出するための技術です。
勾配降下アルゴリズムに基づくマルチアクセスチャネル上にPCAを配置する手法を提案する。
オーバー・ザ・エア・アグリゲーションはマルチ・アクセスの遅延を減らすために採用され、オーバー・ザ・エア・PCAという名称を与える。
論文 参考訳(メタデータ) (2021-04-20T16:28:33Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳(メタデータ) (2020-03-18T05:56:27Z) - Decentralized SGD with Over-the-Air Computation [13.159777131162961]
無線ネットワークにおける分散数値勾配降下(DSGD)の性能について検討する。
伝送は付加的なノイズや干渉を生じやすいと仮定する。
OAC-MAC方式はより少ない通信ラウンドでコンバージェンス性能が向上することを示す。
論文 参考訳(メタデータ) (2020-03-06T15:33:59Z) - Data-Driven Symbol Detection via Model-Based Machine Learning [117.58188185409904]
機械学習(ML)とモデルベースアルゴリズムを組み合わせた,検出設計のシンボル化を目的とした,データ駆動型フレームワークについてレビューする。
このハイブリッドアプローチでは、よく知られたチャネルモデルに基づくアルゴリズムをMLベースのアルゴリズムで拡張し、チャネルモデル依存性を除去する。
提案手法は, 正確なチャネル入出力統計関係を知らなくても, モデルベースアルゴリズムのほぼ最適性能が得られることを示す。
論文 参考訳(メタデータ) (2020-02-14T06:58:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。