論文の概要: Lifelong Learning of Graph Neural Networks for Open-World Node Classification

• arxiv url: http://arxiv.org/abs/2006.14422v4
• Date: Mon, 20 Dec 2021 15:25:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:40:14.328999
• Title: Lifelong Learning of Graph Neural Networks for Open-World Node Classification
• Title（参考訳）: オープンワールドノード分類のためのグラフニューラルネットワークの生涯学習
• Authors: Lukas Galke and Benedikt Franke and Tobias Zielke and Ansgar Scherp
• Abstract要約: 現実世界のグラフはしばしば時間とともに進化し、新しいクラスも生まれます。 我々はこれらの課題を生涯学習の例としてモデル化する。 本研究では,暗黙的・明示的知識の影響を系統的に分析する。
• 参考スコア（独自算出の注目度）: 3.364554138758565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have emerged as the standard method for numerous tasks on graph-structured data such as node classification. However, real-world graphs are often evolving over time and even new classes may arise. We model these challenges as an instance of lifelong learning, in which a learner faces a sequence of tasks and may take over knowledge acquired in past tasks. Such knowledge may be stored explicitly as historic data or implicitly within model parameters. In this work, we systematically analyze the influence of implicit and explicit knowledge. Therefore, we present an incremental training method for lifelong learning on graphs and introduce a new measure based on $k$-neighborhood time differences to address variances in the historic data. We apply our training method to five representative GNN architectures and evaluate them on three new lifelong node classification datasets. Our results show that no more than 50% of the GNN's receptive field is necessary to retain at least 95% accuracy compared to training over the complete history of the graph data. Furthermore, our experiments confirm that implicit knowledge becomes more important when fewer explicit knowledge is available.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,ノード分類などのグラフ構造化データに対する多数のタスクの標準手法として登場した。 しかし、現実世界のグラフはしばしば時間とともに進化しており、新しいクラスも生まれるかもしれない。 我々はこれらの課題を、学習者が一連のタスクに直面し、過去のタスクで得られた知識を引き継ぐことができる生涯学習の事例としてモデル化する。 このような知識は、歴史的データとして明示的に、または暗黙的にモデルパラメータに格納される。 本研究では,暗黙的および明示的な知識の影響を体系的に分析する。 そこで本稿では,グラフ上での生涯学習のための漸進的学習手法を提案し,歴史データの変動に対処するために,$k$近辺時間差に基づく新しい尺度を提案する。 5つの代表的GNNアーキテクチャに適用し、3つの新しい生涯ノード分類データセットで評価する。 以上の結果から,GNNの受容領域の50%以上は,グラフデータの完全履歴に関するトレーニングに比べて95%以上の精度を維持する必要があることがわかった。 さらに, 明示的な知識が少ない場合, 暗黙的な知識がより重要になることを示す実験を行った。

関連論文リスト

• Loss-aware Curriculum Learning for Heterogeneous Graph Neural Networks [30.333265803394998]
  異種グラフニューラルネットワーク(GNN)の性能向上のためのカリキュラム学習手法の適用について検討する。 データの品質をよりよく分類するために、データの全ノードの品質を測定するLTSと呼ばれる損失認識トレーニングスケジュールを設計する。 本研究は,複雑なグラフ構造データ解析のためのHGNNの能力向上のためのカリキュラム学習の有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-29T05:44:41Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• Graph-level Neural Networks: Current Progress and Future Directions [61.08696673768116]
  グラフレベルのニューラルネットワーク(GLNN、ディープラーニングベースのグラフレベルの学習法)は、高次元データのモデリングにおいて優れているため、魅力的である。 本稿では,深層ニューラルネットワーク,グラフニューラルネットワーク,グラフプール上でのGLNNを網羅する系統分類法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T06:16:55Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Learning to Evolve on Dynamic Graphs [5.1521870302904125]
  Learning to Evolve on Dynamic Graphs (LEDG)は、グラフ情報と時間情報を共同で学習する新しいアルゴリズムである。 LEDGはモデルに依存しないため、動的グラフ上でメッセージパッシングベースのグラフニューラルネットワーク(GNN)をトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-11-13T04:09:30Z)
• Graph-Free Knowledge Distillation for Graph Neural Networks [30.38128029453977]
  グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。 グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。 グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
  論文  参考訳（メタデータ） (2021-05-16T21:38:24Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)
• Streaming Graph Neural Networks via Continual Learning [31.810308087441445]
  グラフニューラルネットワーク(GNN)は様々なアプリケーションで高いパフォーマンスを実現している。 本稿では,連続学習に基づくストリーミングGNNモデルを提案する。 モデルパラメータを効率的に更新し、モデル再トレーニングに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-23T06:52:30Z)
• Lifelong Graph Learning [6.282881904019272]
  連続グラフ学習問題を正規グラフ学習問題に変換することにより、グラフ学習と生涯学習を橋渡しする。 機能グラフネットワーク(FGN)は,ウェアラブルデバイスを用いた生涯の人間行動認識と特徴マッチングという2つのアプリケーションにおいて,優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-09-01T18:21:34Z)
• Self-supervised Learning on Graphs: Deep Insights and New Direction [66.78374374440467]
  自己教師付き学習(SSL)は、ラベルのないデータにドメイン固有のプレテキストタスクを作成することを目的としている。 グラフニューラルネットワーク(GNN)の形でのグラフ領域へのディープラーニングの一般化への関心が高まっている。
  論文  参考訳（メタデータ） (2020-06-17T20:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。