論文の概要: Decentralized Learning over Wireless Networks with Broadcast-Based Subgraph Sampling

• arxiv url: http://arxiv.org/abs/2310.16106v1
• Date: Tue, 24 Oct 2023 18:15:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 18:38:03.392814
• Title: Decentralized Learning over Wireless Networks with Broadcast-Based Subgraph Sampling
• Title（参考訳）: ブロードキャストベースサブグラフサンプリングを用いた無線ネットワークによる分散学習
• Authors: Daniel P\'erez Herrera, Zheng Chen and Erik G. Larsson
• Abstract要約: この研究は、コンセンサスに基づく分散降下(D-SGD)を用いた、無線ネットワーク上の分散学習のコミュニケーション面を中心にしている。 ネットワーク内情報交換による実際の通信コストや遅延を考慮すると,送信スロット毎の改善によって測定されたアルゴリズムの高速収束を実現することが目的である。 本稿では,無線ネットワーク上でのD-SGDの効率的な通信フレームワークであるBASSを提案する。
• 参考スコア（独自算出の注目度）: 36.99249604183772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work centers on the communication aspects of decentralized learning over wireless networks, using consensus-based decentralized stochastic gradient descent (D-SGD). Considering the actual communication cost or delay caused by in-network information exchange in an iterative process, our goal is to achieve fast convergence of the algorithm measured by improvement per transmission slot. We propose BASS, an efficient communication framework for D-SGD over wireless networks with broadcast transmission and probabilistic subgraph sampling. In each iteration, we activate multiple subsets of non-interfering nodes to broadcast model updates to their neighbors. These subsets are randomly activated over time, with probabilities reflecting their importance in network connectivity and subject to a communication cost constraint (e.g., the average number of transmission slots per iteration). During the consensus update step, only bi-directional links are effectively preserved to maintain communication symmetry. In comparison to existing link-based scheduling methods, the inherent broadcasting nature of wireless channels offers intrinsic advantages in speeding up convergence of decentralized learning by creating more communicated links with the same number of transmission slots.
• Abstract（参考訳）: 本研究は、コンセンサスに基づく分散確率勾配勾配(D-SGD)を用いて、無線ネットワーク上の分散学習のコミュニケーション面に焦点を当てる。 ネットワーク内情報交換による実際の通信コストや遅延を考慮すると,送信スロット毎の改善によって測定されたアルゴリズムの高速収束を実現することが目的である。 本稿では,無線ネットワーク上でのD-SGDの効率的な通信フレームワークであるBASSを提案する。 各イテレーションにおいて、非干渉ノードの複数のサブセットを起動し、隣人にモデル更新をブロードキャストする。 これらのサブセットは時間とともにランダムに活性化され、確率はネットワーク接続の重要性を反映し、通信コストの制約(例えば、イテレーション当たりの平均送信スロット数)を受ける。 コンセンサス更新ステップでは、通信対称性を維持するために双方向リンクのみを効果的に保存する。 既存のリンクベースのスケジューリング手法と比較して、無線チャネルの固有の放送特性は、同じ数の送信スロットでより多くの通信リンクを作成することにより、分散学習の収束を早めるという本質的な利点を提供する。

関連論文リスト

• Collaborative Ground-Space Communications via Evolutionary Multi-objective Deep Reinforcement Learning [113.48727062141764]
  地中直接通信を実現するために,分散コラボレーティブビームフォーミング(DCB)に基づくアップリンク通信パラダイムを提案する。 DCBは、低軌道(LEO)衛星と効率的な直接接続を確立することができない端末を分散アンテナとして扱う。 本稿では,進化的多目的深層強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-11T03:13:02Z)
• Faster Convergence with Less Communication: Broadcast-Based Subgraph Sampling for Decentralized Learning over Wireless Networks [32.914407967052114]
  $texttBASS$はD-SGDの収束を加速するために設計された放送ベースのサブグラフサンプリング手法である。 既存のリンクベースのスケジューリング手法と比較して,送信スロットが少ないため,$texttBASS$はより高速な収束を可能にする。
  論文  参考訳（メタデータ） (2024-01-24T20:00:23Z)
• Communication-Efficient Framework for Distributed Image Semantic Wireless Transmission [68.69108124451263]
  IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。 各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。 チャネル状態情報に基づく多重出力多重出力伝送モジュール。
  論文  参考訳（メタデータ） (2023-08-07T16:32:14Z)
• Decentralized Learning over Wireless Networks: The Effect of Broadcast with Random Access [56.91063444859008]
  本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。 この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T10:32:26Z)
• Non-Coherent Over-the-Air Decentralized Gradient Descent [0.0]
  無線システムにおける分散グラディエントDescentの実装は、ノイズ、フェーディング、帯域幅の制限により困難である。 本稿では,スケジューリング,トポロジ情報,CSIの必要性を解消するスケーラブルなDGDアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-19T19:15:34Z)
• Asynchronous Decentralized Learning over Unreliable Wireless Networks [4.630093015127539]
  分散型学習は、デバイス間通信を通じて情報を交換することで、エッジユーザが協力的にモデルをトレーニングすることを可能にする。 無線ネットワークエッジで発生する固有および通信障害に対して頑健な非同期分散勾配降下(DSGD)アルゴリズムを提案する。 実験結果は,信頼性の低い無線ネットワーク上での分散学習における非同期性と時代遅れな勾配情報の再利用の利点を実証し,我々の分析を裏付けるものである。
  論文  参考訳（メタデータ） (2022-02-02T11:00:49Z)
• End-to-End Learning for Uplink MU-SIMO Joint Transmitter and Non-Coherent Receiver Design in Fading Channels [11.182920270301304]
  JTRD-Netと呼ばれる新しいエンドツーエンド学習手法が提案され、マルチユーザシングルインプットマルチ出力(MU-SIMO)ジョイントトランスミッタとフェーディングチャネルにおける非コヒーレントレシーバー設計(JTRD)をアップリンクする。 送信側は、マルチユーザー波形設計を担当する並列線形層のグループとしてモデル化されています。 非コヒーレント受信機は、マルチユーザ検出(MUD)機能を提供するために、ディープフィードフォワードニューラルネットワーク(DFNN)によって形成される。
  論文  参考訳（メタデータ） (2021-05-04T02:47:59Z)
• Communication-Efficient and Distributed Learning Over Wireless Networks: Principles and Applications [55.65768284748698]
  機械学習(ML)は、第5世代(5G)通信システムなどのための有望なイネーブルである。 本稿では、関連するコミュニケーションとMLの原則を概観し、選択したユースケースでコミュニケーション効率と分散学習フレームワークを提示することを目的とする。
  論文  参考訳（メタデータ） (2020-08-06T12:37:14Z)
• Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game [134.88020946767404]
  本稿では,プライマリセルネットワークにライセンスされたスペクトルに基づいて,アドホックなモノのインターネットネットワークにおける分散チャネル割り当て問題について検討する。 本研究では,この問題をコンテキスト型マルチプレイヤー・マルチアームバンディットゲームにマッピングし,試行錯誤による純粋に分散化された3段階ポリシー学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-30T10:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。