論文の概要: Wide and Deep Graph Neural Networks with Distributed Online Learning

• arxiv url: http://arxiv.org/abs/2006.06376v2
• Date: Sat, 24 Oct 2020 04:14:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 10:02:34.406709
• Title: Wide and Deep Graph Neural Networks with Distributed Online Learning
• Title（参考訳）: 分散オンライン学習を用いた広域深層グラフニューラルネットワーク
• Authors: Zhan Gao, Fernando Gama, Alejandro Ribeiro
• Abstract要約: グラフニューラルネットワーク(GNN)は、自然に分散したアーキテクチャでネットワークデータから表現を学習する。 オンライン学習は、テスト時にGNNを再トレーニングするために使用することができ、この問題を克服することができる。 本稿では,分散オンライン学習機構で容易に更新できる新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を提案する。
• 参考スコア（独自算出の注目度）: 175.96910854433574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) learn representations from network data with naturally distributed architectures, rendering them well-suited candidates for decentralized learning. Oftentimes, this decentralized graph support changes with time due to link failures or topology variations. These changes create a mismatch between the graphs on which GNNs were trained and the ones on which they are tested. Online learning can be used to retrain GNNs at testing time, overcoming this issue. However, most online algorithms are centralized and work on convex problems (which GNNs rarely lead to). This paper proposes the Wide and Deep GNN (WD-GNN), a novel architecture that can be easily updated with distributed online learning mechanisms. The WD-GNN comprises two components: the wide part is a bank of linear graph filters and the deep part is a GNN. At training time, the joint architecture learns a nonlinear representation from data. At testing time, the deep part (nonlinear) is left unchanged, while the wide part is retrained online, leading to a convex problem. We derive convergence guarantees for this online retraining procedure and further propose a decentralized alternative. Experiments on the robot swarm control for flocking corroborate theory and show potential of the proposed architecture for distributed online learning.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、自然分散アーキテクチャを用いてネットワークデータから表現を学習し、分散学習の候補として適している。 多くの場合、この分散グラフはリンク障害やトポロジの変化によって時間とともに変化をサポートする。 これらの変更は、GNNがトレーニングされたグラフと、テストされたグラフのミスマッチを生成する。 オンライン学習は、テスト時にGNNを再トレーニングするために使用することができ、この問題を克服することができる。 しかし、ほとんどのオンラインアルゴリズムは中央集権的であり、凸問題(GNNではめったに起こらない)に取り組んでいる。 本稿では,分散オンライン学習機構で容易に更新できる新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を提案する。 WD-GNNは、幅部が線形グラフフィルタのバンク、深さ部がGNNの2つのコンポーネントから構成される。 トレーニング時に、ジョイントアーキテクチャはデータから非線形表現を学習する。 テスト時には、深い部分(非線形)は変更されず、広い部分はオンラインで再トレーニングされ、凸問題が発生する。 このオンラインリトレーニング手順の収束保証を導出し,さらに分散化代替案を提案する。 ロボット群制御によるマクロボレート理論のフロッキング実験と,分散オンライン学習のためのアーキテクチャの可能性を示す。

関連論文リスト

• The Evolution of Distributed Systems for Graph Neural Networks and their Origin in Graph Processing and Deep Learning: A Survey [17.746899445454048]
  グラフニューラルネットワーク(GNN)は、新たな研究分野である。 GNNはレコメンデーションシステム、コンピュータビジョン、自然言語処理、生物学、化学など様々な分野に適用できる。 我々は,大規模GNNソリューションの重要な手法と手法を要約し,分類することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2023-05-23T09:22:33Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Wide and Deep Graph Neural Network with Distributed Online Learning [174.8221510182559]
  グラフニューラルネットワーク(GNN)は、ネットワークデータから表現を学習するための、自然に分散したアーキテクチャである。 オンライン学習は、この問題を克服するためにテスト時にGNNを再トレーニングするために利用することができる。 本稿では,分散オンライン学習機構で更新可能な新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を開発する。
  論文  参考訳（メタデータ） (2021-07-19T23:56:48Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks [13.965982814292971]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習問題の第一選択方法である。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。 本研究では,新しいマルチタスク・フェデレーション・トレーニング・フレームワークであるSpreadGNNを提案する。
  論文  参考訳（メタデータ） (2021-06-04T22:20:47Z)
• Graph-Free Knowledge Distillation for Graph Neural Networks [30.38128029453977]
  グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。 グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。 グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
  論文  参考訳（メタデータ） (2021-05-16T21:38:24Z)
• FedGraphNN: A Federated Learning System and Benchmark for Graph Neural Networks [68.64678614325193]
  グラフニューラルネットワーク(GNN)の研究は、グラフ構造データから表現を学ぶGNNの能力のおかげで急速に成長しています。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。 GNNベースのFL研究を促進するためのオープンリサーチフェデレーション学習システムとベンチマークであるFedGraphNNを紹介します。
  論文  参考訳（メタデータ） (2021-04-14T22:11:35Z)
• Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
  グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。 これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
  論文  参考訳（メタデータ） (2020-08-04T18:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。