論文の概要: Wide and Deep Graph Neural Network with Distributed Online Learning
- arxiv url: http://arxiv.org/abs/2107.09203v1
- Date: Mon, 19 Jul 2021 23:56:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 14:49:27.339235
- Title: Wide and Deep Graph Neural Network with Distributed Online Learning
- Title（参考訳）: 分散オンライン学習を用いた広域深層グラフニューラルネットワーク
- Authors: Zhan Gao, Fernando Gama, Alejandro Ribeiro
- Abstract要約: グラフニューラルネットワーク(GNN)は、ネットワークデータから表現を学習するための、自然に分散したアーキテクチャである。
オンライン学習は、この問題を克服するためにテスト時にGNNを再トレーニングするために利用することができる。
本稿では,分散オンライン学習機構で更新可能な新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を開発する。
- 参考スコア（独自算出の注目度）: 174.8221510182559
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) are naturally distributed architectures for
learning representations from network data. This renders them suitable
candidates for decentralized tasks. In these scenarios, the underlying graph
often changes with time due to link failures or topology variations, creating a
mismatch between the graphs on which GNNs were trained and the ones on which
they are tested. Online learning can be leveraged to retrain GNNs at testing
time to overcome this issue. However, most online algorithms are centralized
and usually offer guarantees only on convex problems, which GNNs rarely lead
to. This paper develops the Wide and Deep GNN (WD-GNN), a novel architecture
that can be updated with distributed online learning mechanisms. The WD-GNN
consists of two components: the wide part is a linear graph filter and the deep
part is a nonlinear GNN. At training time, the joint wide and deep architecture
learns nonlinear representations from data. At testing time, the wide, linear
part is retrained, while the deep, nonlinear one remains fixed. This often
leads to a convex formulation. We further propose a distributed online learning
algorithm that can be implemented in a decentralized setting. We also show the
stability of the WD-GNN to changes of the underlying graph and analyze the
convergence of the proposed online learning procedure. Experiments on movie
recommendation, source localization and robot swarm control corroborate
theoretical findings and show the potential of the WD-GNN for distributed
online learning.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、ネットワークデータから表現を学習するための分散アーキテクチャである。
これにより、分散タスクに適した候補となる。
これらのシナリオでは、基礎となるグラフはリンク障害やトポロジの変化によって時間とともに変化し、GNNがトレーニングされたグラフとテストされたグラフのミスマッチを生成する。
オンライン学習は、この問題を克服するためにテスト時にGNNを再トレーニングするために利用することができる。
しかし、ほとんどのオンラインアルゴリズムは中央集権的であり、通常は凸問題のみに保証を提供する。
本稿では,分散オンライン学習機構で更新可能な新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を開発する。
WD-GNNは2つの成分から構成される:ワイド部は線形グラフフィルタ、ディープ部は非線形GNNである。
トレーニング時に、ジョイントワイドとディープアーキテクチャはデータから非線形表現を学習する。
試験時には、広く直線的な部分は再訓練され、深い非線形な部分は固定されている。
これはしばしば凸の定式化につながる。
さらに,分散環境で実装可能な分散オンライン学習アルゴリズムを提案する。
また,基礎となるグラフの変化に対するwd-gnnの安定性を示し,提案するオンライン学習手順の収束を分析する。
映画レコメンデーション、ソースローカライゼーション、ロボット群制御の実験は理論的知見を裏付け、分散オンライン学習におけるWD-GNNの可能性を示す。
関連論文リスト
- The Evolution of Distributed Systems for Graph Neural Networks and their
Origin in Graph Processing and Deep Learning: A Survey [17.746899445454048]
グラフニューラルネットワーク(GNN)は、新たな研究分野である。
GNNはレコメンデーションシステム、コンピュータビジョン、自然言語処理、生物学、化学など様々な分野に適用できる。
我々は,大規模GNNソリューションの重要な手法と手法を要約し,分類することで,このギャップを埋めることを目指している。
論文 参考訳（メタデータ） (2023-05-23T09:22:33Z) - Distributed Graph Neural Network Training: A Survey [51.77035975191926]
グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。
GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。
治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
論文 参考訳（メタデータ） (2022-11-01T01:57:00Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:05:59Z) - SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural
Networks [13.965982814292971]
グラフニューラルネットワーク(GNN)は、グラフ機械学習問題の第一選択方法である。
GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。
本研究では,新しいマルチタスク・フェデレーション・トレーニング・フレームワークであるSpreadGNNを提案する。
論文 参考訳（メタデータ） (2021-06-04T22:20:47Z) - Graph-Free Knowledge Distillation for Graph Neural Networks [30.38128029453977]
グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。
グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。
グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
論文 参考訳（メタデータ） (2021-05-16T21:38:24Z) - FedGraphNN: A Federated Learning System and Benchmark for Graph Neural
Networks [68.64678614325193]
グラフニューラルネットワーク(GNN)の研究は、グラフ構造データから表現を学ぶGNNの能力のおかげで急速に成長しています。
GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。
GNNベースのFL研究を促進するためのオープンリサーチフェデレーション学習システムとベンチマークであるFedGraphNNを紹介します。
論文 参考訳（メタデータ） (2021-04-14T22:11:35Z) - Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。
これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
論文 参考訳（メタデータ） (2020-08-04T18:57:36Z) - Wide and Deep Graph Neural Networks with Distributed Online Learning [175.96910854433574]
グラフニューラルネットワーク(GNN)は、自然に分散したアーキテクチャでネットワークデータから表現を学習する。
オンライン学習は、テスト時にGNNを再トレーニングするために使用することができ、この問題を克服することができる。
本稿では,分散オンライン学習機構で容易に更新できる新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を提案する。
論文 参考訳（メタデータ） (2020-06-11T12:48:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。