論文の概要: On the Communication Latency of Wireless Decentralized Learning

• arxiv url: http://arxiv.org/abs/2002.04069v1
• Date: Mon, 10 Feb 2020 20:10:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 08:39:39.046498
• Title: On the Communication Latency of Wireless Decentralized Learning
• Title（参考訳）: 無線分散学習における通信遅延について
• Authors: Navid Naderializadeh
• Abstract要約: 我々は、半径$R$の円形領域内に位置する$n$ノードからなる無線ネットワークを考える。 ネットワーク間の勾配交換を可能にするために、各ノードは隣接するノードの集合とのみ通信すると仮定する。 ネットワーク全体のリンク上の1ラウンドのグラデーションを交換する通信遅延は、$mathcalOleft(fracn2-3betabetalog nright)$である。
• 参考スコア（独自算出の注目度）: 12.977865337365856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a wireless network comprising $n$ nodes located within a circular area of radius $R$, which are participating in a decentralized learning algorithm to optimize a global objective function using their local datasets. To enable gradient exchanges across the network, we assume each node communicates only with a set of neighboring nodes, which are within a distance $R n^{-\beta}$ of itself, where $\beta\in(0,\frac{1}{2})$. We use tools from network information theory and random geometric graph theory to show that the communication delay for a single round of exchanging gradients on all the links throughout the network scales as $\mathcal{O}\left(\frac{n^{2-3\beta}}{\beta\log n}\right)$, increasing (at different rates) with both the number of nodes and the gradient exchange threshold distance.
• Abstract（参考訳）: 我々は,分散学習アルゴリズムを用いて局所データセットを用いてグローバル目的関数を最適化する,半径$r$の円周領域に位置するn$ノードからなる無線ネットワークについて検討する。 ネットワーク全体の勾配交換を可能にするために、各ノードは隣り合うノードの集合とのみ通信し、そのノードは距離$r n^{-\beta}$であり、ここで$\beta\in(0,\frac{1}{2})$である。 ネットワーク情報理論とランダム幾何グラフ理論のツールを用いて、ネットワーク全体のすべてのリンク上の1ラウンドのグラデーションの通信遅延が$\mathcal{O}\left(\frac{n^{2-3\beta}}{\beta\log n}\right)$となり、ノード数と勾配交換閾値距離の両方で(異なる速度で)増加することを示す。

関連論文リスト

• GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based Histogram Intersection [51.608147732998994]
  グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。 本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-01-17T13:04:23Z)
• Online Centralized Non-parametric Change-point Detection via Graph-based Likelihood-ratio Estimation [77.81487285123147]
  グラフの各ノードを、ほぼリアルタイムで同期して観測されるデータストリームを生成するようにします。 変更ポイント$tau$では、変更はノードのサブセット$C$で発生し、関連するノードストリームの確率分布に影響を与える。 本稿では,ポストチェンジとノードストリームの事前変更分布の確率比の直接推定に基づいて,$tau$を検出して$C$をローカライズするカーネルベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-01-08T10:15:24Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Push--Pull with Device Sampling [8.344476599818826]
  複数のエージェントが協力して、基礎となる通信グラフを交換することで、ローカル関数の平均を最小化する分散最適化問題を考察する。 ネットワーク全体の勾配追跡と分散低減を併用したアルゴリズムを提案する。 理論解析により,局所目的関数が強凸である場合,アルゴリズムは線形に収束することを示した。
  論文  参考訳（メタデータ） (2022-06-08T18:18:18Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Decentralized Multi-Task Stochastic Optimization With Compressed Communications [22.31884634659446]
  本稿では,ノードにおけるローカル情報可用性の2つのモデルに対して,アルゴリズムを開発し,性能バウンダリを求める。 グローバルな最小値からの逸脱と制約の違反は$mathcalO(T-frac12)$と$mathcalO(T-frac14)$によって上界されることを示す。
  論文  参考訳（メタデータ） (2021-12-23T05:54:42Z)
• Distributed Saddle-Point Problems Under Similarity [173.19083235638104]
  与えられたサブ最適度$epsilon0$は、$Omegabigのマスター/ワーカーネットワークで達成されることを示す。 次に,ネットワークの下位の型(ログオーバまで)に適合するアルゴリズムを提案する。 頑健なロジスティック回帰問題に対して提案アルゴリズムの有効性を評価する。
  論文  参考訳（メタデータ） (2021-07-22T14:25:16Z)
• Communication-efficient Decentralized Local SGD over Undirected Networks [2.3572498744567123]
  我々は、$n$エージェントのネットワークがグローバル関数$F$を最小化しようとする分散学習問題を考察する。 通信ラウンド数と各エージェントの計算労力のトレードオフを分析する。 その結果,R=Omega(n)$通信ラウンドのみを用いることで,O(1/nT)$というスケールの誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2020-11-06T09:34:00Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Multi-Level Local SGD for Heterogeneous Hierarchical Networks [11.699472346137739]
  異種ネットワークにおける学習・非目的フレームワークのための分散勾配法であるマルチレベルローカルSGDを提案する。 まず,マルチレベル局所SGDアルゴリズムを記述する統一数学的手法を提案する。 次に,アルゴリズムの理論的解析を行う。
  論文  参考訳（メタデータ） (2020-07-27T19:14:23Z)
• Fully Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks [14.636457985379746]
  本稿では,有向ピアツーピアネットワーク上での分散強化学習(DisRL)のポリシー評価問題に対する非同期手法を提案する。 ネットワークの他のノードを待つことなく、各ノードは隣人からの(おそらく遅れた)情報を使用して、いつでもローカルに値関数を更新できる。
  論文  参考訳（メタデータ） (2020-03-01T08:12:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。