論文の概要: Streaming Graph Neural Networks via Continual Learning

• arxiv url: http://arxiv.org/abs/2009.10951v2
• Date: Fri, 4 Dec 2020 06:56:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 15:43:11.847159
• Title: Streaming Graph Neural Networks via Continual Learning
• Title（参考訳）: 連続学習によるストリーミンググラフニューラルネットワーク
• Authors: Junshan Wang, Guojie Song, Yi Wu, Liang Wang
• Abstract要約: グラフニューラルネットワーク(GNN)は様々なアプリケーションで高いパフォーマンスを実現している。 本稿では,連続学習に基づくストリーミングGNNモデルを提案する。 モデルパラメータを効率的に更新し、モデル再トレーニングに匹敵する性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 31.810308087441445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have achieved strong performance in various applications. In the real world, network data is usually formed in a streaming fashion. The distributions of patterns that refer to neighborhood information of nodes may shift over time. The GNN model needs to learn the new patterns that cannot yet be captured. But learning incrementally leads to the catastrophic forgetting problem that historical knowledge is overwritten by newly learned knowledge. Therefore, it is important to train GNN model to learn new patterns and maintain existing patterns simultaneously, which few works focus on. In this paper, we propose a streaming GNN model based on continual learning so that the model is trained incrementally and up-to-date node representations can be obtained at each time step. Firstly, we design an approximation algorithm to detect new coming patterns efficiently based on information propagation. Secondly, we combine two perspectives of data replaying and model regularization for existing pattern consolidation. Specially, a hierarchy-importance sampling strategy for nodes is designed and a weighted regularization term for GNN parameters is derived, achieving greater stability and generalization of knowledge consolidation. Our model is evaluated on real and synthetic data sets and compared with multiple baselines. The results of node classification prove that our model can efficiently update model parameters and achieve comparable performance to model retraining. In addition, we also conduct a case study on the synthetic data, and carry out some specific analysis for each part of our model, illustrating its ability to learn new knowledge and maintain existing knowledge from different perspectives.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は様々なアプリケーションで高いパフォーマンスを実現している。 実世界では通常、ネットワークデータはストリーミング形式で形成される。 ノードの近傍情報を参照するパターンの分布は、時間とともに変化する可能性がある。 GNNモデルは、まだキャプチャできない新しいパターンを学ぶ必要がある。 しかし、徐々に学習が進むと、歴史知識が新しく学んだ知識によって上書きされるという破滅的な問題を忘れてしまう。 したがって、GNNモデルをトレーニングして新しいパターンを学び、既存のパターンを同時に維持することが重要である。 本稿では,連続学習に基づくストリーミングGNNモデルを提案する。 まず,情報伝達に基づく新しいパターンを効率的に検出する近似アルゴリズムを設計する。 次に,既存のパターン統合のためのデータ再生とモデル正規化の2つの視点を組み合わせる。 特に,ノードの階層-重要サンプリング戦略を設計し,GNNパラメータの重み付き正規化項を導出し,より安定性と知識統合の一般化を実現する。 本モデルは,実データおよび合成データを用いて評価し,複数のベースラインと比較した。 ノード分類の結果,モデルパラメータを効率的に更新でき,モデル再トレーニングに匹敵する性能が得られることがわかった。 さらに,合成データに関するケーススタディを行い,モデルの各部分について特定の分析を行い,新しい知識を学習し,異なる視点から既存の知識を維持する能力を示す。

関連論文リスト

• Robust Knowledge Adaptation for Dynamic Graph Neural Networks [61.8505228728726]
  動的グラフニューラルネットワークのための強化学習による堅牢な知識適応フレームワークであるAda-DyGNNを提案する。 我々のアプローチは、強化学習による堅牢な知識適応を探求する最初の試みである。 3つのベンチマークデータセットの実験は、Ada-DyGNNが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2022-07-22T02:06:53Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Sparsifying the Update Step in Graph Neural Networks [15.446125349239534]
  更新ステップとして知られるMPNNのトレーニング可能な部分にスパシフィケーションが及ぼす影響について検討する。 具体的には、調整可能なスペーシングレートを持つExpanderGNNモデルと、更新ステップに線形変換を持たないActivation-Only GNNを提案する。 我々の新しいベンチマークモデルは、モデルパフォーマンスに対するアップデートのステップの影響をよりよく理解することを可能にする。
  論文  参考訳（メタデータ） (2021-09-02T13:06:34Z)
• A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
  本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。 提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。 実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-06-22T12:41:19Z)
• The World as a Graph: Improving El Ni\~no Forecasts with Graph Neural Networks [0.00916150060695978]
  季節予測へのグラフニューラルネットワークの最初の応用を提案する。 当社のモデルであるGraphinoは、最先端のディープラーニングベースのモデルで最大6ヶ月の予測を上回ります。
  論文  参考訳（メタデータ） (2021-04-11T19:55:55Z)
• Temporal Knowledge Graph Forecasting with Neural ODE [19.64877769280854]
  連続体深度モデルの概念を時間発展型マルチリレーショナルグラフデータに拡張する。 GNN(Graph Neural Network)によるNODEと構造情報による時間情報のキャプチャ 本モデルでは,連続モデルが実現され,将来予測のためのノード表現を効率的に学習する。
  論文  参考訳（メタデータ） (2021-01-13T15:49:48Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Lifelong Learning of Graph Neural Networks for Open-World Node Classification [3.364554138758565]
  現実世界のグラフはしばしば時間とともに進化し、新しいクラスも生まれます。 我々はこれらの課題を生涯学習の例としてモデル化する。 本研究では,暗黙的・明示的知識の影響を系統的に分析する。
  論文  参考訳（メタデータ） (2020-06-25T14:03:31Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。