論文の概要: Beyond spectral gap (extended): The role of the topology in decentralized learning

• arxiv url: http://arxiv.org/abs/2301.02151v1
• Date: Thu, 5 Jan 2023 16:53:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 14:52:00.902494
• Title: Beyond spectral gap (extended): The role of the topology in decentralized learning
• Title（参考訳）: スペクトルギャップを超えて(拡張):分散学習におけるトポロジーの役割
• Authors: Thijs Vogels, Hadrien Hendrikx, Martin Jaggi
• Abstract要約: 機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。 本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
• 参考スコア（独自算出の注目度）: 58.48291921602417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In data-parallel optimization of machine learning models, workers collaborate to improve their estimates of the model: more accurate gradients allow them to use larger learning rates and optimize faster. In the decentralized setting, in which workers communicate over a sparse graph, current theory fails to capture important aspects of real-world behavior. First, the `spectral gap' of the communication graph is not predictive of its empirical performance in (deep) learning. Second, current theory does not explain that collaboration enables larger learning rates than training alone. In fact, it prescribes smaller learning rates, which further decrease as graphs become larger, failing to explain convergence dynamics in infinite graphs. This paper aims to paint an accurate picture of sparsely-connected distributed optimization. We quantify how the graph topology influences convergence in a quadratic toy problem and provide theoretical results for general smooth and (strongly) convex objectives. Our theory matches empirical observations in deep learning, and accurately describes the relative merits of different graph topologies. This paper is an extension of the conference paper by Vogels et. al. (2022). Code: https://github.com/epfml/topology-in-decentralized-learning.
• Abstract（参考訳）: 機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 作業者がスパースグラフ上で通信する分散設定では、現在の理論は現実世界の振る舞いの重要な側面を捉えることができない。 まず、コミュニケーショングラフの‘スペクトルギャップ’は、(深い)学習における経験的パフォーマンスを予測するものではない。 第二に、現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。 実際、これはより少ない学習率を規定しており、グラフが大きくなるにつれてさらに減少し、無限グラフの収束ダイナミクスを説明できない。 本稿では,疎結合分散最適化の正確な図を描くことを目的とする。 グラフトポロジーが二次玩具問題における収束にどのように影響するかを定量化し、一般の滑らかで(強い)凸目的に対して理論的結果を与える。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。 本稿ではvogelsらによる会議論文の拡張について述べる。 2022年)。 コード: https://github.com/epfml/topology-in-decentralized-learning。

関連論文リスト

• Beyond spectral gap: The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。
  論文  参考訳（メタデータ） (2022-06-07T08:19:06Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Learning Representations of Entities and Relations [0.0]
  この論文は,リンク予測タスクに取り組むことを目的とした知識グラフ表現の改善に焦点を当てている。 最初のコントリビューションはHypERであり、リンク予測性能を単純化し改善する畳み込みモデルである。 第2のコントリビューションは比較的単純な線形モデルであるTuckERで、このモデルが導入された時点では、最先端のリンク予測性能が得られた。 第3の貢献は、双曲空間に埋め込まれた最初のマルチリレーショナルグラフ表現モデルである MuRP である。
  論文  参考訳（メタデータ） (2022-01-31T09:24:43Z)
• Generating the Graph Gestalt: Kernel-Regularized Graph Representation Learning [47.506013386710954]
  グラフデータの完全な科学的理解は、グローバル構造とローカル構造の両方に対処する必要がある。 本稿では,グラフVAEフレームワークにおける相補的目的として,両者のジョイントモデルを提案する。 実験により,生成したグラフ構造の現実性は,典型的には1-2桁のグラフ構造メトリクスによって著しく向上したことが示された。
  論文  参考訳（メタデータ） (2021-06-29T10:48:28Z)
• Multilayer Clustered Graph Learning [66.94201299553336]
  我々は、観測された層を代表グラフに適切に集約するために、データ忠実度用語として対照的な損失を用いる。 実験により,本手法がクラスタクラスタw.r.tに繋がることが示された。 クラスタリング問題を解くためのクラスタリングアルゴリズムを学習する。
  論文  参考訳（メタデータ） (2020-10-29T09:58:02Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。