論文の概要: Fully Distributed Online Training of Graph Neural Networks in Networked Systems

• arxiv url: http://arxiv.org/abs/2412.06105v1
• Date: Sun, 08 Dec 2024 23:41:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:52:51.860729
• Title: Fully Distributed Online Training of Graph Neural Networks in Networked Systems
• Title（参考訳）: ネットワークシステムにおけるグラフニューラルネットワークの完全分散オンライントレーニング
• Authors: Rostyslav Olshevskyi, Zhongyuan Zhao, Kevin Chan, Gunjan Verma, Ananthram Swami, Santiago Segarra,
• Abstract要約: グラフニューラルネットワーク(GNN)は、大規模ネットワークシステムにおいて、スケーラブルで分散化された人工知能を開発するための強力なツールである。 我々は,大規模ネットワークシステムに適用されたGNNのための通信効率,完全分散オンライントレーニング手法を開発した。 我々は、教師なし、教師なし、強化学習パラダイムの下でGNNを訓練する上で、我々のアプローチの有効性を実証する。
• 参考スコア（独自算出の注目度）: 38.42536739809494
• License:
• Abstract: Graph neural networks (GNNs) are powerful tools for developing scalable, decentralized artificial intelligence in large-scale networked systems, such as wireless networks, power grids, and transportation networks. Currently, GNNs in networked systems mostly follow a paradigm of `centralized training, distributed execution', which limits their adaptability and slows down their development cycles. In this work, we fill this gap for the first time by developing a communication-efficient, fully distributed online training approach for GNNs applied to large networked systems. For a mini-batch with $B$ samples, our approach of training an $L$-layer GNN only adds $L$ rounds of message passing to the $LB$ rounds required by GNN inference, with doubled message sizes. Through numerical experiments in graph-based node regression, power allocation, and link scheduling in wireless networks, we demonstrate the effectiveness of our approach in training GNNs under supervised, unsupervised, and reinforcement learning paradigms.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、無線ネットワーク、電力網、輸送ネットワークなどの大規模ネットワークシステムにおいて、スケーラブルで分散化された人工知能を開発するための強力なツールである。 現在、ネットワークシステム内のGNNは、主に‘分散トレーニング、分散実行’というパラダイムに従っており、適応性を制限し、開発サイクルを遅くしている。 本研究では,大規模ネットワークシステムに適用されたGNNのための通信効率の高い完全分散オンライントレーニング手法を開発することで,このギャップを初めて埋める。 B$サンプルのミニバッチの場合、$L$層GNNをトレーニングするアプローチでは、GNNが要求する$LB$ラウンドに、メッセージサイズが2倍の$L$ラウンドのみを付加します。 無線ネットワークにおけるグラフベースのノード回帰、電力割り当て、リンクスケジューリングの数値実験を通じて、教師なし、教師なし、強化学習パラダイムの下でのGNNの訓練における我々のアプローチの有効性を実証する。

関連論文リスト

• Scalable Neural Network Training over Distributed Graphs [45.151244961817454]
  実世界のグラフデータは、キャパシティの制約のため、多くのマシンに格納されなければならない。 ネットワーク通信は費用がかかり、GNNのトレーニングの主なボトルネックとなっている。 最初のフレームワークは、すべてのネットワーク分散レベルにおいて、GNNのトレーニングに使用することができる。
  論文  参考訳（メタデータ） (2023-02-25T10:42:34Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• A Comprehensive Survey on Distributed Training of Graph Neural Networks [59.785830738482474]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーション分野において強力なアルゴリズムモデルであることが示されている。 GNNトレーニングを大規模かつ継続的なグラフにスケールアップするために、最も有望なソリューションは分散トレーニングである。 分散GNNトレーニングに関する研究の規模は、非常に広範であり、出版のペースは極めて速い。
  論文  参考訳（メタデータ） (2022-11-10T06:22:12Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Scaling Graph-based Deep Learning models to larger networks [2.946140899052065]
  Graph Neural Networks (GNN)は、ネットワーク制御と管理のために商用製品に統合される可能性を示している。 本稿では,リンク容量の増大やリンクトラフィックの集約など,大規模ネットワークに効果的にスケール可能なGNNベースのソリューションを提案する。
  論文  参考訳（メタデータ） (2021-10-04T09:04:19Z)
• Wide and Deep Graph Neural Network with Distributed Online Learning [174.8221510182559]
  グラフニューラルネットワーク(GNN)は、ネットワークデータから表現を学習するための、自然に分散したアーキテクチャである。 オンライン学習は、この問題を克服するためにテスト時にGNNを再トレーニングするために利用することができる。 本稿では,分散オンライン学習機構で更新可能な新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を開発する。
  論文  参考訳（メタデータ） (2021-07-19T23:56:48Z)
• SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks [13.965982814292971]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習問題の第一選択方法である。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。 本研究では,新しいマルチタスク・フェデレーション・トレーニング・フレームワークであるSpreadGNNを提案する。
  論文  参考訳（メタデータ） (2021-06-04T22:20:47Z)
• Wide and Deep Graph Neural Networks with Distributed Online Learning [175.96910854433574]
  グラフニューラルネットワーク(GNN)は、自然に分散したアーキテクチャでネットワークデータから表現を学習する。 オンライン学習は、テスト時にGNNを再トレーニングするために使用することができ、この問題を克服することができる。 本稿では,分散オンライン学習機構で容易に更新できる新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T12:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。