論文の概要: Scalable Decentralized Learning with Teleportation

• arxiv url: http://arxiv.org/abs/2501.15259v1
• Date: Sat, 25 Jan 2025 16:07:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:58:17.391304
• Title: Scalable Decentralized Learning with Teleportation
• Title（参考訳）: テレポーテーションによるスケーラブルな分散学習
• Authors: Yuki Takezawa, Sebastian U. Stich,
• Abstract要約: 分散学習環境では、与えられたトポロジのみに通信が発生すると仮定されるが、実際、トポロジは単に望ましい通信パターンを表すだけである。 従来の研究では、大きなスペクトルギャップを持つ位相を設計することで、これらの場合の収束速度の低下を緩和しようと試みてきた。 TELEPORTATIONは,ノード数のみを活性化することにより,収束率の低下を完全に軽減できることを示す。
• 参考スコア（独自算出の注目度）: 23.768643916412422
• License:
• Abstract: Decentralized SGD can run with low communication costs, but its sparse communication characteristics deteriorate the convergence rate, especially when the number of nodes is large. In decentralized learning settings, communication is assumed to occur on only a given topology, while in many practical cases, the topology merely represents a preferred communication pattern, and connecting to arbitrary nodes is still possible. Previous studies have tried to alleviate the convergence rate degradation in these cases by designing topologies with large spectral gaps. However, the degradation is still significant when the number of nodes is substantial. In this work, we propose TELEPORTATION. TELEPORTATION activates only a subset of nodes, and the active nodes fetch the parameters from previous active nodes. Then, the active nodes update their parameters by SGD and perform gossip averaging on a relatively small topology comprising only the active nodes. We show that by activating only a proper number of nodes, TELEPORTATION can completely alleviate the convergence rate degradation. Furthermore, we propose an efficient hyperparameter-tuning method to search for the appropriate number of nodes to be activated. Experimentally, we showed that TELEPORTATION can train neural networks more stably and achieve higher accuracy than Decentralized SGD.
• Abstract（参考訳）: 分散SGDは低通信コストで動作可能であるが、その疎な通信特性は、特にノード数が大きければ収束率を低下させる。 分散学習環境では、与えられたトポロジのみに通信が発生すると仮定されるが、多くの場合、トポロジは単に望ましい通信パターンを表すだけであり、任意のノードへの接続も可能である。 従来の研究では、大きなスペクトルギャップを持つ位相を設計することで、これらの場合の収束速度の低下を緩和しようと試みてきた。 しかし、ノード数がかなりある場合、その劣化は依然として顕著である。 本稿ではTELEPORTATIONを提案する。 TELEPORTATIONはノードのサブセットのみを起動し、アクティブノードは以前のアクティブノードからパラメータを取得する。 次に、アクティブノードは、SGDによってパラメータを更新し、アクティブノードのみからなる比較的小さなトポロジー上で、ゴシップ平均化を実行する。 TELEPORTATIONは,ノード数のみを活性化することにより,収束率の低下を完全に軽減できることを示す。 さらに,活性化すべきノード数を探索する効率的なハイパーパラメータチューニング手法を提案する。 実験により、TELEPORTATIONは、分散SGDよりも安定して、高精度にニューラルネットワークを訓練できることを示した。

関連論文リスト

• Towards Dynamic Message Passing on Graphs [104.06474765596687]
  グラフニューラルネットワーク(GNN)のための新しい動的メッセージパッシング機構を提案する。 グラフノードと学習可能な擬似ノードを、測定可能な空間関係を持つ共通空間に投影する。 ノードが空間内を移動すると、その進化する関係は動的メッセージパッシングプロセスのための柔軟な経路構築を促進する。
  論文  参考訳（メタデータ） (2024-10-31T07:20:40Z)
• Node Duplication Improves Cold-start Link Prediction [52.917775253887264]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習において顕著である。 近年の研究では、GNNは低次ノードで良い結果を出すのに苦労していることが示されている。 我々はNodeDupと呼ばれるシンプルだが驚くほど効果的な拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T05:07:39Z)
• Rethinking Node-wise Propagation for Large-scale Graph Learning [42.29535580297932]
  textbfAdaptive textbfTopology-aware textbfPropagation (ATP) ATPは潜在的な高バイアス伝播を低減し、各ノードの構造パターンをスケーラブルに抽出し、実行効率と予測性能を改善する。 ATPは、半教師付きノード分類のための広範でスケーラブルなGNNの性能を改善するのに効率的であることが証明されている。
  論文  参考訳（メタデータ） (2024-02-09T01:19:47Z)
• A Topological Perspective on Demystifying GNN-Based Link Prediction Performance [72.06314265776683]
  トポロジカル濃度 (TC) は、各ノードの局所部分グラフと隣人の部分グラフの交点に基づいている。 また,TCLは,次数や部分グラフ密度などの他のノードレベルのトポロジ指標よりもLP性能と高い相関性を示した。 我々は, 近似トポロジカル濃度 (ATC) を提案し, 理論的・経験的にTC近似の有効性を正当化し, 複雑さを低減させる。
  論文  参考訳（メタデータ） (2023-10-06T22:07:49Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Semi-decentralized Inference in Heterogeneous Graph Neural Networks for Traffic Demand Forecasting: An Edge-Computing Approach [35.0857568908058]
  グラフニューラルネットワーク(GNN)は、タクシーの需要と供給を予測することを約束している。 本稿では,複数のクラウドレット,中規模ストレージ,計算装置を利用した半分散化手法を提案する。 また、タクシーレベルの需要と供給予測を改善するための異種GNN-LSTMアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-28T00:21:18Z)
• lo-fi: distributed fine-tuning without communication [61.87390899015787]
  完全局所微調整をlo-fiと呼ぶ。 lo-fiの間、各ノードは通信なしで独立に微調整される。 通信要求を取り除くことで、lo-fiは大規模モデルの微調整のためのリソースバリアを低減する。
  論文  参考訳（メタデータ） (2022-10-19T20:15:18Z)
• ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks [124.33353902111939]
  本稿では,時間変動ネットワーク上の滑らかかつ強凸分散最適化のための高速化手法である adom を提案する。 ネットワーク構造のみに依存する一定の要因まで、その通信は加速されたNesterovメソッドのそれと同じです。
  論文  参考訳（メタデータ） (2021-02-18T09:37:20Z)
• Graph Convolutional Neural Networks with Node Transition Probability-based Message Passing and DropNode Regularization [32.260055351563324]
  最近、グラフ構造化データを扱う能力のため、グラフ畳み込みニューラルネットワーク(GCNN)が注目されている。 本研究は,ノード遷移確率に基づくメッセージパッシングプロセスを改善するための新しい手法を提案する。 また,DropNodeと呼ばれる新しい正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-08-28T10:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。