Fugu-MT 論文翻訳(概要): Multi-Level Local SGD for Heterogeneous Hierarchical Networks

論文の概要: Multi-Level Local SGD for Heterogeneous Hierarchical Networks

arxiv url: http://arxiv.org/abs/2007.13819v3
Date: Fri, 18 Feb 2022 18:43:42 GMT
ステータス: 処理完了
システム内更新日: 2022-11-06 07:53:25.977309
Title: Multi-Level Local SGD for Heterogeneous Hierarchical Networks
Title（参考訳）: 不均一階層ネットワークのためのマルチレベル局所SGD
Authors: Timothy Castiglia, Anirban Das, and Stacy Patterson
Abstract要約: 異種ネットワークにおける学習・非目的フレームワークのための分散勾配法であるマルチレベルローカルSGDを提案する。まず,マルチレベル局所SGDアルゴリズムを記述する統一数学的手法を提案する。次に,アルゴリズムの理論的解析を行う。
参考スコア（独自算出の注目度）: 11.699472346137739
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose Multi-Level Local SGD, a distributed gradient method for learning a smooth, non-convex objective in a heterogeneous multi-level network. Our network model consists of a set of disjoint sub-networks, with a single hub and multiple worker nodes; further, worker nodes may have different operating rates. The hubs exchange information with one another via a connected, but not necessarily complete communication network. In our algorithm, sub-networks execute a distributed SGD algorithm, using a hub-and-spoke paradigm, and the hubs periodically average their models with neighboring hubs. We first provide a unified mathematical framework that describes the Multi-Level Local SGD algorithm. We then present a theoretical analysis of the algorithm; our analysis shows the dependence of the convergence error on the worker node heterogeneity, hub network topology, and the number of local, sub-network, and global iterations. We back up our theoretical results via simulation-based experiments using both convex and non-convex objectives.
Abstract（参考訳）: 不均一なマルチレベルネットワークにおいて、滑らかで非凸な目的を学習するための分散勾配法であるMulti-Level Local SGDを提案する。私たちのネットワークモデルは、単一のハブと複数のワーカノードを備えた、独立したサブネットワークのセットで構成されています。ハブは相互に情報を交換するが、必ずしも完全な通信ネットワークではない。本アルゴリズムでは、ハブ・アンド・スポークパラダイムを用いて分散SGDアルゴリズムを実行し、ハブが近隣のハブでモデルを定期的に平均化する。まず,マルチレベル局所sgdアルゴリズムを記述する統一数学的フレームワークを提案する。次に,このアルゴリズムの理論的解析を行い,労働者ノードの不均一性,ハブネットワークトポロジー,局所,サブネットワーク,グローバルイテレーション数に対する収束誤差の依存性を示した。我々は,凸目的と非凸目的の両方を用いたシミュレーションに基づく実験により,理論結果を裏付ける。

関連論文リスト

Nested stochastic block model for simultaneously clustering networks and nodes [9.860884833526407]
ネットワークの集合をクラスタ化すると同時に,各ネットワーク内のコミュニティを同時に検出するために,ネストブロックモデル(NSBM)を導入する。 NSBMには、潜在的に異なるノードセットを持つ未ラベルネットワークで動作する機能など、いくつかの魅力的な機能がある。
論文参考訳（メタデータ） (2023-07-18T12:46:34Z)
Network-GIANT: Fully distributed Newton-type optimization via harmonic Hessian consensus [2.8617826964327113]
本稿では,GIANTに基づくNewton型完全分散最適化アルゴリズムであるNetwork-GIANTを紹介する。このアルゴリズムは,強い凸関数と滑らかな損失関数を仮定して,ネットワーク上の厳密解に対する半言語的および指数的収束を保証する。我々は,Network-DANEやNewton-Raphson Consensusのような最先端の分散学習アルゴリズムに比べて,Network-GIANTの収束性能が優れていることを示す実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-05-13T11:42:40Z)
LSGNN: Towards General Graph Neural Network in Node Classification by Local Similarity [59.41119013018377]
本稿では,ローカル類似性(LocalSim)を用いて,プラグイン・アンド・プレイモジュールとしても機能するノードレベルの重み付き融合を学習する。そこで本研究では,より情報性の高いマルチホップ情報を抽出するための,新規かつ効率的な初期残留差分接続(IRDC)を提案する。提案手法,すなわちローカル類似グラフニューラルネットワーク(LSGNN)は,ホモ親和性グラフとヘテロ親和性グラフの両方において,同等あるいは優れた最先端性能を提供できる。
論文参考訳（メタデータ） (2023-05-07T09:06:11Z)
Multiplex Heterogeneous Graph Convolutional Network [25.494590588212542]
異種ネットワーク埋め込みのための多重異種グラフ畳み込みネットワーク(MHGCN)を提案する。我々のMHGCNは、多重異種ネットワークにおいて、異なる長さの有用な異種メタパス相互作用を自動的に学習することができる。
論文参考訳（メタデータ） (2022-08-12T06:17:54Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Pay Attention to Relations: Multi-embeddings for Attributed Multiplex Networks [0.0]
RAHMeNは、属性付き異種多重ネットワークのための新しい統合型関係認識組込みフレームワークである。本モデルでは,ノード属性,モチーフに基づく特徴,関係性に基づくGCNアプローチ,ノードの埋め込みを学習するための関係性自己アテンションが組み込まれている。我々は,Amazon,Twitter,YouTube,Tio PPIの4つの実世界のデータセットを,トランスダクティブおよびインダクティブの両方で評価した。
論文参考訳（メタデータ） (2022-03-03T18:31:29Z)
DeHIN: A Decentralized Framework for Embedding Large-scale Heterogeneous Information Networks [64.62314068155997]
本稿では,異種情報ネットワーク(DeHIN)のための分散埋め込みフレームワークについて述べる。 DeHINは、大きなHINをハイパーグラフとして革新的に定式化するコンテキスト保存分割機構を提供する。当社のフレームワークでは,木のようなパイプラインを採用することで,効率よくHINを分割する分散戦略を採用しています。
論文参考訳（メタデータ） (2022-01-08T04:08:36Z)
Global and Individualized Community Detection in Inhomogeneous Multilayer Networks [14.191073951237772]
ネットワークアプリケーションでは、同じ主題の集合上で観測される複数のネットワークの形でデータセットを取得することがますます一般的になっている。このようなデータセットは、各レイヤが別々のネットワーク自身であるマルチレイヤネットワークによってモデル化され、異なるレイヤが関連付けられ、共通の情報を共有することができる。本稿では,非均質な多層ネットワークモデルを用いたスタイリングによるコミュニティ検出について検討する。
論文参考訳（メタデータ） (2020-12-02T02:42:52Z)
Multi-Stage Hybrid Federated Learning over Large-Scale D2D-Enabled Fog Networks [61.30171206892684]
ネットワークを多層クラスタベース構造とみなす階層内モデル学習と層間モデル学習のハイブリッドを開発する。 MH-FLは、デバイス間通信(D2D)を介して形成されたローカルネットワークを含む、クラスタ内のノード間のトポロジー構造を考察している。異なるネットワーク層におけるデバイスを協調的/協調的にオーケストレーションし、モデルパラメータの局所的なコンセンサスを形成する。
論文参考訳（メタデータ） (2020-07-18T20:03:07Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
Detecting Communities in Heterogeneous Multi-Relational Networks:A Message Passing based Approach [89.19237792558687]
コミュニティは、ソーシャルネットワーク、生物学的ネットワーク、コンピュータおよび情報ネットワークを含むネットワークの共通の特徴である。我々は,全同種ネットワークのコミュニティを同時に検出する効率的なメッセージパッシングに基づくアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-04-06T17:36:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。