論文の概要: Decentralized SGD with Over-the-Air Computation

• arxiv url: http://arxiv.org/abs/2003.04216v1
• Date: Fri, 6 Mar 2020 15:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 01:21:19.078168
• Title: Decentralized SGD with Over-the-Air Computation
• Title（参考訳）: オーバー・ザ・エア計算による分散SGD
• Authors: Emre Ozfatura, Stefano Rini, Deniz Gunduz
• Abstract要約: 無線ネットワークにおける分散数値勾配降下(DSGD)の性能について検討する。 伝送は付加的なノイズや干渉を生じやすいと仮定する。 OAC-MAC方式はより少ない通信ラウンドでコンバージェンス性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 13.159777131162961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the performance of decentralized stochastic gradient descent (DSGD) in a wireless network, where the nodes collaboratively optimize an objective function using their local datasets. Unlike the conventional setting, where the nodes communicate over error-free orthogonal communication links, we assume that transmissions are prone to additive noise and interference.We first consider a point-to-point (P2P) transmission strategy, termed the OAC-P2P scheme, in which the node pairs are scheduled in an orthogonal fashion to minimize interference. Since in the DSGD framework, each node requires a linear combination of the neighboring models at the consensus step, we then propose the OAC-MAC scheme, which utilizes the signal superposition property of the wireless medium to achieve over-the-air computation (OAC). For both schemes, we cast the scheduling problem as a graph coloring problem. We numerically evaluate the performance of these two schemes for the MNIST image classification task under various network conditions. We show that the OAC-MAC scheme attains better convergence performance with a fewer communication rounds.
• Abstract（参考訳）: 本研究では,無線ネットワークにおける分散確率勾配降下(DSGD)の性能について検討する。 誤りのない直交通信リンクを介してノードが通信する従来の設定とは異なり、伝送は付加ノイズや干渉の影響を受けやすいと仮定し、まずはoac-p2pスキームと呼ばれるポイントツーポイント(p2p)伝送戦略を検討し、ノードペアを直交的にスケジュールすることで干渉を最小限に抑える。 DSGDフレームワークでは,各ノードはコンセンサスステップで隣接モデルの線形結合を必要とするため,無線媒体の信号重畳特性を利用したOAC-MACスキームを提案し,オーバー・ザ・エア計算(OAC)を実現する。 どちらのスキームもスケジューリング問題をグラフカラー化問題としてキャストした。 様々なネットワーク条件下でのmnist画像分類タスクにおける2つのスキームの性能を数値的に評価した。 OAC-MAC方式はより少ない通信ラウンドでコンバージェンス性能が向上することを示す。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Unsupervised Graph-based Learning Method for Sub-band Allocation in 6G Subnetworks [2.0583251142940377]
  グラフベース学習を用いた無線ネットワークにおける周波数サブバンド割り当てのための教師なし手法を提案する。 サブネットワーク配置を競合グラフとしてモデル化し,グラフカラー化とPottsモデルにインスパイアされた教師なし学習アプローチを提案し,サブバンド割り当てを最適化する。
  論文  参考訳（メタデータ） (2023-12-13T12:57:55Z)
• Wireless Federated $k$-Means Clustering with Non-coherent Over-the-Air Computation [14.087062902871212]
  OACスキームは、バランスの取れた数系における数値の表現を利用するエンコーダに依存している。 非効率なセンチロイドの再初期化法を提案し、不均一なデータ分散のための提案手法の性能を向上させる。
  論文  参考訳（メタデータ） (2023-08-11T20:12:26Z)
• Non-Coherent Over-the-Air Decentralized Gradient Descent [0.0]
  無線システムにおける分散グラディエントDescentの実装は、ノイズ、フェーディング、帯域幅の制限により困難である。 本稿では,スケジューリング,トポロジ情報,CSIの必要性を解消するスケーラブルなDGDアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-19T19:15:34Z)
• Bandwidth-efficient distributed neural network architectures with application to body sensor networks [73.02174868813475]
  本稿では,分散ニューラルネットワークアーキテクチャを設計するための概念設計手法について述べる。 提案手法により,損失を最小限に抑えつつ,最大20倍の帯域幅削減が可能となることを示す。 本稿では,ウェアラブル脳-コンピュータインタフェースに焦点をあてるが,他のセンサネットワークアプリケーションにも適用できる。
  論文  参考訳（メタデータ） (2022-10-14T12:35:32Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach [79.59560136273917]
  デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
  論文  参考訳（メタデータ） (2022-04-20T19:09:52Z)
• Learning Resilient Radio Resource Management Policies with Graph Neural Networks [124.89036526192268]
  我々は、ユーザ当たりの最小容量制約でレジリエントな無線リソース管理問題を定式化する。 有限個のパラメータ集合を用いてユーザ選択と電力制御ポリシーをパラメータ化できることを示す。 このような適応により,提案手法は平均レートと5番目のパーセンタイルレートとの良好なトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-03-07T19:40:39Z)
• Graph-based Algorithm Unfolding for Energy-aware Power Allocation in Wireless Networks [27.600081147252155]
  我々は,無線通信網におけるエネルギー効率を最大化する新しいグラフ要約フレームワークを開発した。 無線ネットワークデータのモデルに望ましい特性である置換訓練について述べる。 結果は、異なるネットワークトポロジにまたがる一般化可能性を示している。
  論文  参考訳（メタデータ） (2022-01-27T20:23:24Z)
• Over-the-Air Decentralized Federated Learning [28.593149477080605]
  本稿では,無線ネットワーク上での分散化フェデレーション学習(FL)について考察する。そこでは,デバイス間通信(D2D)におけるローカルモデルコンセンサスを促進するために,オーバー・ザ・エア計算(AirComp)が採用されている。 本稿では,D2D通信における事前符号化と復号化の両手法を組み込んだ,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。 提案アルゴリズムは線形に収束し, チャネルのフェージングとノイズを考慮した, 強い凸関数と滑らかな損失関数の最適性ギャップを確立する。
  論文  参考訳（メタデータ） (2021-06-15T09:42:33Z)
• Wireless Power Control via Counterfactual Optimization of Graph Neural Networks [124.89036526192268]
  本稿では,無線ネットワークにおけるダウンリンク電力制御の問題点について考察する。 コンカレントトランスミッション間の干渉を軽減するために,ネットワークトポロジを活用してグラフニューラルネットワークアーキテクチャを構築する。 次に、教師なし原始対実対実最適化手法を用いて最適電力配分決定を学習する。
  論文  参考訳（メタデータ） (2020-02-17T07:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。