論文の概要: SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2106.02743v1
• Date: Fri, 4 Jun 2021 22:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 11:11:38.668528
• Title: SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks
• Title（参考訳）: SpreadGNN: グラフニューラルネットワークのためのサーバレスマルチタスクフェデレーション学習
• Authors: Chaoyang He, Emir Ceyani, Keshav Balasubramanian, Murali Annavaram, Salman Avestimehr
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ機械学習問題の第一選択方法である。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。 本研究では,新しいマルチタスク・フェデレーション・トレーニング・フレームワークであるSpreadGNNを提案する。
• 参考スコア（独自算出の注目度）: 13.965982814292971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) are the first choice methods for graph machine learning problems thanks to their ability to learn state-of-the-art level representations from graph-structured data. However, centralizing a massive amount of real-world graph data for GNN training is prohibitive due to user-side privacy concerns, regulation restrictions, and commercial competition. Federated Learning is the de-facto standard for collaborative training of machine learning models over many distributed edge devices without the need for centralization. Nevertheless, training graph neural networks in a federated setting is vaguely defined and brings statistical and systems challenges. This work proposes SpreadGNN, a novel multi-task federated training framework capable of operating in the presence of partial labels and absence of a central server for the first time in the literature. SpreadGNN extends federated multi-task learning to realistic serverless settings for GNNs, and utilizes a novel optimization algorithm with a convergence guarantee, Decentralized Periodic Averaging SGD (DPA-SGD), to solve decentralized multi-task learning problems. We empirically demonstrate the efficacy of our framework on a variety of non-I.I.D. distributed graph-level molecular property prediction datasets with partial labels. Our results show that SpreadGNN outperforms GNN models trained over a central server-dependent federated learning system, even in constrained topologies. The source code is publicly available at https://github.com/FedML-AI/SpreadGNN
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データから最先端レベルの表現を学習する能力のおかげで、グラフ機械学習問題の最初の選択方法である。 しかし、GNNトレーニングのための大量の実世界のグラフデータの集中化は、ユーザ側のプライバシの懸念、規制規制、商業的競争のために禁止されている。 Federated Learningは、集中化を必要とせずに、多くの分散エッジデバイス上で機械学習モデルの協調トレーニングのためのデファクトスタンダードである。 それでも、連合環境でのトレーニンググラフニューラルネットワークはあいまいに定義されており、統計的およびシステムの課題をもたらす。 本研究は,部分ラベルの存在下で動作可能で,文献に初めて中央サーバが存在しない,新たなマルチタスクフェデレーショントレーニングフレームワークであるspreadgnnを提案する。 SpreadGNNは、分散マルチタスク学習をGNNの現実的なサーバレス設定に拡張し、収束保証を備えた新しい最適化アルゴリズム、分散周期平均SGD(DPA-SGD)を使用して、分散マルチタスク学習問題を解決する。 我々は、様々な非I.D.に対する我々の枠組みの有効性を実証的に実証した。 部分ラベル付き分散グラフレベルの分子特性予測データセット。 この結果から,SpreadGNNは,制約付きトポロジにおいても,中央サーバ依存型フェデレーション学習システム上で訓練されたGNNモデルよりも優れていた。 ソースコードはhttps://github.com/FedML-AI/SpreadGNNで公開されている。

関連論文リスト

• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Lumos: Heterogeneity-aware Federated Graph Learning over Decentralized Devices [19.27111697495379]
  グラフニューラルネットワーク(GNN)は、現実世界のネットワークアプリケーションやシステムに広くデプロイされている。 本稿では,教師付き学習と教師なし学習をサポートするLumosという,初の連合型GNNフレームワークを提案する。 クライアント毎に構築したツリーに基づいて,多目的学習を支援するために,分散型ツリーベースGNNトレーナーを提案する。
  論文  参考訳（メタデータ） (2023-03-01T13:27:06Z)
• Scalable Neural Network Training over Distributed Graphs [45.151244961817454]
  実世界のグラフデータは、キャパシティの制約のため、多くのマシンに格納されなければならない。 ネットワーク通信は費用がかかり、GNNのトレーニングの主なボトルネックとなっている。 最初のフレームワークは、すべてのネットワーク分散レベルにおいて、GNNのトレーニングに使用することができる。
  論文  参考訳（メタデータ） (2023-02-25T10:42:34Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Learn Locally, Correct Globally: A Distributed Algorithm for Training Graph Neural Networks [22.728439336309858]
  通信効率の良い分散GNNトレーニング手法であるtextLearn Locally, Correct Globally$ (LLCG)を提案する。 LLCGは、異なるマシン間のノード間の依存関係を無視してGNNをローカルデータでトレーニングし、その後、定期的なモデル平均化のためにローカルにトレーニングされたモデルをサーバに送信する。 我々は,GNNを訓練するための周期モデル平均化による分散手法の収束度を厳密に分析し,周期モデル平均化を適用するが,ノード間の依存性を無視することは既約残差に悩まされることを示す。
  論文  参考訳（メタデータ） (2021-11-16T03:07:01Z)
• Wide and Deep Graph Neural Network with Distributed Online Learning [174.8221510182559]
  グラフニューラルネットワーク(GNN)は、ネットワークデータから表現を学習するための、自然に分散したアーキテクチャである。 オンライン学習は、この問題を克服するためにテスト時にGNNを再トレーニングするために利用することができる。 本稿では,分散オンライン学習機構で更新可能な新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を開発する。
  論文  参考訳（メタデータ） (2021-07-19T23:56:48Z)
• FedGraphNN: A Federated Learning System and Benchmark for Graph Neural Networks [68.64678614325193]
  グラフニューラルネットワーク(GNN)の研究は、グラフ構造データから表現を学ぶGNNの能力のおかげで急速に成長しています。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。 GNNベースのFL研究を促進するためのオープンリサーチフェデレーション学習システムとベンチマークであるFedGraphNNを紹介します。
  論文  参考訳（メタデータ） (2021-04-14T22:11:35Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Wide and Deep Graph Neural Networks with Distributed Online Learning [175.96910854433574]
  グラフニューラルネットワーク(GNN)は、自然に分散したアーキテクチャでネットワークデータから表現を学習する。 オンライン学習は、テスト時にGNNを再トレーニングするために使用することができ、この問題を克服することができる。 本稿では,分散オンライン学習機構で容易に更新できる新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T12:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。