論文の概要: Beyond spectral gap: The role of the topology in decentralized learning

• arxiv url: http://arxiv.org/abs/2206.03093v1
• Date: Tue, 7 Jun 2022 08:19:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 02:13:39.815482
• Title: Beyond spectral gap: The role of the topology in decentralized learning
• Title（参考訳）: スペクトルギャップを超えて:分散学習におけるトポロジーの役割
• Authors: Thijs Vogels and Hadrien Hendrikx and Martin Jaggi
• Abstract要約: 機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。
• 参考スコア（独自算出の注目度）: 58.48291921602417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In data-parallel optimization of machine learning models, workers collaborate to improve their estimates of the model: more accurate gradients allow them to use larger learning rates and optimize faster. We consider the setting in which all workers sample from the same dataset, and communicate over a sparse graph (decentralized). In this setting, current theory fails to capture important aspects of real-world behavior. First, the 'spectral gap' of the communication graph is not predictive of its empirical performance in (deep) learning. Second, current theory does not explain that collaboration enables larger learning rates than training alone. In fact, it prescribes smaller learning rates, which further decrease as graphs become larger, failing to explain convergence in infinite graphs. This paper aims to paint an accurate picture of sparsely-connected distributed optimization when workers share the same data distribution. We quantify how the graph topology influences convergence in a quadratic toy problem and provide theoretical results for general smooth and (strongly) convex objectives. Our theory matches empirical observations in deep learning, and accurately describes the relative merits of different graph topologies.
• Abstract（参考訳）: 機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 我々は、すべてのワーカーが同じデータセットからサンプリングし、スパースグラフ(分散)を介して通信する設定を検討する。 この設定では、現在の理論は現実世界の行動の重要な側面を捉えることができない。 まず,コミュニケーショングラフの「スペクトルギャップ」は,深層学習における経験的性能の予測にはならない。 第二に、現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。 実際、それはより少ない学習率を規定しており、グラフが大きくなるにつれてさらに減少し、無限グラフの収束を説明できない。 本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。 グラフトポロジーが二次玩具問題における収束にどのように影響するかを定量化し、一般の滑らかで(強い)凸目的に対して理論的結果を与える。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。

関連論文リスト

• Understanding Community Bias Amplification in Graph Representation Learning [22.522798932536038]
  本稿では,グラフ表現学習におけるコミュニティバイアス増幅現象について検討する。 本稿では,Random Graph Coarsening Contrastive Learningと呼ばれる新しいグラフコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2023-12-08T07:43:05Z)
• Beyond spectral gap (extended): The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。 本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
  論文  参考訳（メタデータ） (2023-01-05T16:53:38Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Deconfounded Training for Graph Neural Networks [98.06386851685645]
  本稿では, コンバウンディング効果を緩和し, 臨界情報に対するラッチを緩和する新しいDecon Training(DTP)のパラダイムを提案する。 具体的には、注意モジュールを用いて臨界部分グラフと自明部分グラフをアンタングル化する。 これにより、GNNは、ラベルとの関係が複数のディストリビューションで堅牢である、より信頼性の高いサブグラフをキャプチャできる。
  論文  参考訳（メタデータ） (2021-12-30T15:22:35Z)
• Learning Graphs from Smooth Signals under Moment Uncertainty [23.868075779606425]
  与えられたグラフ信号の集合からグラフ構造を推測する問題を検討する。 従来のグラフ学習モデルは、この分布の不確実性を考慮していない。
  論文  参考訳（メタデータ） (2021-05-12T06:47:34Z)
• Multilayer Clustered Graph Learning [66.94201299553336]
  我々は、観測された層を代表グラフに適切に集約するために、データ忠実度用語として対照的な損失を用いる。 実験により,本手法がクラスタクラスタw.r.tに繋がることが示された。 クラスタリング問題を解くためのクラスタリングアルゴリズムを学習する。
  論文  参考訳（メタデータ） (2020-10-29T09:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。