Fugu-MT 論文翻訳(概要): On the Communication Latency of Wireless Decentralized Learning

論文の概要: On the Communication Latency of Wireless Decentralized Learning

arxiv url: http://arxiv.org/abs/2002.04069v1
Date: Mon, 10 Feb 2020 20:10:07 GMT
ステータス: 翻訳完了
システム内更新日: 2023-01-02 08:39:39.046498
Title: On the Communication Latency of Wireless Decentralized Learning
Title（参考訳）: 無線分散学習における通信遅延について
Authors: Navid Naderializadeh
Abstract要約: 我々は、半径$R$の円形領域内に位置する$n$ノードからなる無線ネットワークを考える。ネットワーク間の勾配交換を可能にするために、各ノードは隣接するノードの集合とのみ通信すると仮定する。ネットワーク全体のリンク上の1ラウンドのグラデーションを交換する通信遅延は、$mathcalOleft(fracn2-3betabetalog nright)$である。
参考スコア（独自算出の注目度）: 12.977865337365856
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider a wireless network comprising $n$ nodes located within a circular area of radius $R$, which are participating in a decentralized learning algorithm to optimize a global objective function using their local datasets. To enable gradient exchanges across the network, we assume each node communicates only with a set of neighboring nodes, which are within a distance $R n^{-\beta}$ of itself, where $\beta\in(0,\frac{1}{2})$. We use tools from network information theory and random geometric graph theory to show that the communication delay for a single round of exchanging gradients on all the links throughout the network scales as $\mathcal{O}\left(\frac{n^{2-3\beta}}{\beta\log n}\right)$, increasing (at different rates) with both the number of nodes and the gradient exchange threshold distance.
Abstract（参考訳）: 我々は,分散学習アルゴリズムを用いて局所データセットを用いてグローバル目的関数を最適化する,半径$r$の円周領域に位置するn$ノードからなる無線ネットワークについて検討する。ネットワーク全体の勾配交換を可能にするために、各ノードは隣り合うノードの集合とのみ通信し、そのノードは距離$r n^{-\beta}$であり、ここで$\beta\in(0,\frac{1}{2})$である。ネットワーク情報理論とランダム幾何グラフ理論のツールを用いて、ネットワーク全体のすべてのリンク上の1ラウンドのグラデーションの通信遅延が$\mathcal{O}\left(\frac{n^{2-3\beta}}{\beta\log n}\right)$となり、ノード数と勾配交換閾値距離の両方で(異なる速度で)増加することを示す。

関連論文リスト

GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based Histogram Intersection [51.608147732998994]
グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-01-17T13:04:23Z)
Online Centralized Non-parametric Change-point Detection via Graph-based Likelihood-ratio Estimation [77.81487285123147]
グラフの各ノードを、ほぼリアルタイムで同期して観測されるデータストリームを生成するようにします。変更ポイント$tau$では、変更はノードのサブセット$C$で発生し、関連するノードストリームの確率分布に影響を与える。本稿では,ポストチェンジとノードストリームの事前変更分布の確率比の直接推定に基づいて,$tau$を検出して$C$をローカライズするカーネルベースの新しい手法を提案する。
論文参考訳（メタデータ） (2023-01-08T10:15:24Z)
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文参考訳（メタデータ） (2022-10-14T01:42:05Z)
Push--Pull with Device Sampling [8.344476599818826]
複数のエージェントが協力して、基礎となる通信グラフを交換することで、ローカル関数の平均を最小化する分散最適化問題を考察する。ネットワーク全体の勾配追跡と分散低減を併用したアルゴリズムを提案する。理論解析により,局所目的関数が強凸である場合,アルゴリズムは線形に収束することを示した。
論文参考訳（メタデータ） (2022-06-08T18:18:18Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Decentralized Sparse Linear Regression via Gradient-Tracking: Linear Convergence and Statistical Guarantees [23.256961881716595]
エージェントネットワーク上の疎線形回帰を非指向グラフとしてモデル化し,サーバノードを持たない。分布予測勾配追跡に基づくアルゴリズムの収束率と統計的保証を解析する。
論文参考訳（メタデータ） (2022-01-21T01:26:08Z)
Decentralized Multi-Task Stochastic Optimization With Compressed Communications [22.31884634659446]
本稿では,ノードにおけるローカル情報可用性の2つのモデルに対して,アルゴリズムを開発し,性能バウンダリを求める。グローバルな最小値からの逸脱と制約の違反は$mathcalO(T-frac12)$と$mathcalO(T-frac14)$によって上界されることを示す。
論文参考訳（メタデータ） (2021-12-23T05:54:42Z)
Distributed Saddle-Point Problems Under Similarity [173.19083235638104]
与えられたサブ最適度$epsilon0$は、$Omegabigのマスター/ワーカーネットワークで達成されることを示す。次に,ネットワークの下位の型(ログオーバまで)に適合するアルゴリズムを提案する。頑健なロジスティック回帰問題に対して提案アルゴリズムの有効性を評価する。
論文参考訳（メタデータ） (2021-07-22T14:25:16Z)
Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
論文参考訳（メタデータ） (2021-01-06T03:05:37Z)
Communication-efficient Decentralized Local SGD over Undirected Networks [2.3572498744567123]
我々は、$n$エージェントのネットワークがグローバル関数$F$を最小化しようとする分散学習問題を考察する。通信ラウンド数と各エージェントの計算労力のトレードオフを分析する。その結果,R=Omega(n)$通信ラウンドのみを用いることで,O(1/nT)$というスケールの誤差を実現できることがわかった。
論文参考訳（メタデータ） (2020-11-06T09:34:00Z)
Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文参考訳（メタデータ） (2020-10-02T16:50:26Z)
Multi-Level Local SGD for Heterogeneous Hierarchical Networks [11.699472346137739]
異種ネットワークにおける学習・非目的フレームワークのための分散勾配法であるマルチレベルローカルSGDを提案する。まず,マルチレベル局所SGDアルゴリズムを記述する統一数学的手法を提案する。次に,アルゴリズムの理論的解析を行う。
論文参考訳（メタデータ） (2020-07-27T19:14:23Z)
Approximating Network Centrality Measures Using Node Embedding and Machine Learning [0.0]
本稿では,ニューラルネットワークとグラフ埋め込み技術を用いて,大規模ネットワークにおけるノード中心性を効率的に近似する手法を提案する。提案手法は,グラフ埋め込み (NCA-GE) を用いたネットワーク中央性近似 (Network Centrality Approximation) と題され,グラフの隣接行列と各ノードの機能セットを用いる。 NCA-GEは、グラフのエッジの集合である$O(|E|)$, $E$の時間複雑性を持ち、大きなネットワークに適している。
論文参考訳（メタデータ） (2020-06-29T21:19:40Z)
Fully Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks [14.636457985379746]
本稿では,有向ピアツーピアネットワーク上での分散強化学習(DisRL)のポリシー評価問題に対する非同期手法を提案する。ネットワークの他のノードを待つことなく、各ノードは隣人からの(おそらく遅れた)情報を使用して、いつでもローカルに値関数を更新できる。
論文参考訳（メタデータ） (2020-03-01T08:12:08Z)
EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
論文参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。