論文の概要: Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay

• arxiv url: http://arxiv.org/abs/2003.09908v2
• Date: Mon, 8 Feb 2021 08:26:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 05:15:35.408470
• Title: Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay
• Title（参考訳）: 経験リプレイによるグラフニューラルネットワークの破滅的忘れを克服する
• Authors: Fan Zhou and Chengtai Cao
• Abstract要約: グラフニューラルネットワーク(GNN)は、最近、様々なグラフ関連学習タスクにおける優れたパフォーマンスのために、大きな研究の注目を集めている。 本研究では,GNNを連続学習タスクに適用できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 16.913443823792022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have recently received significant research attention due to their superior performance on a variety of graph-related learning tasks. Most of the current works focus on either static or dynamic graph settings, addressing a single particular task, e.g., node/graph classification, link prediction. In this work, we investigate the question: can GNNs be applied to continuously learning a sequence of tasks? Towards that, we explore the Continual Graph Learning (CGL) paradigm and present the Experience Replay based framework ER-GNN for CGL to alleviate the catastrophic forgetting problem in existing GNNs. ER-GNN stores knowledge from previous tasks as experiences and replays them when learning new tasks to mitigate the catastrophic forgetting issue. We propose three experience node selection strategies: mean of feature, coverage maximization, and influence maximization, to guide the process of selecting experience nodes. Extensive experiments on three benchmark datasets demonstrate the effectiveness of our ER-GNN and shed light on the incremental graph (non-Euclidean) structure learning.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、最近、様々なグラフ関連学習タスクにおける優れたパフォーマンスのために、大きな研究の注目を集めている。 現在の作業の多くは、静的または動的グラフ設定、例えばノード/グラフ分類、リンク予測といった特定のタスクにフォーカスする。 本稿では,タスクの連続的な学習にGNNを適用することができるか,という課題について考察する。 そこで我々は,CGL の連続グラフ学習(Continuous Graph Learning, CGL)パラダイムを探求し,既存の GNN における破滅的な忘れの問題を軽減するために,CGL のためのエクスペリエンス・リプレイベースのフレームワーク ER-GNN を提案する。 ER-GNNは、過去のタスクからの知識を経験として保存し、破滅的な忘れの問題を軽減するために新しいタスクを学ぶ際にそれらを再生する。 本稿では,経験ノード選択の過程を導くために,特徴量平均,カバレッジ最大化,影響最大化という3つの経験ノード選択戦略を提案する。 3つのベンチマークデータセットに対する大規模な実験は、ER-GNNの有効性を示し、インクリメンタルグラフ(非ユークリッド)構造学習に光を当てた。

関連論文リスト

• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Pitfalls in Link Prediction with Graph Neural Networks: Understanding the Impact of Target-link Inclusion & Better Practices [28.88423949622]
  グラフニューラルネットワーク(GNN)は、様々なハイインパクトアプリケーションで著しく成功している。 リンク予測では、トレーニング時やテスト時にグラフに予測されるエッジを含めるという一般的なプラクティスが、低次ノードのパフォーマンスに大きく影響している。 我々は,低次ノードに対する私たちの洞察を活用する,効果的かつ効率的なGNNトレーニングフレームワークであるSpotTargetを紹介した。
  論文  参考訳（メタデータ） (2023-06-01T16:56:04Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Simple yet Effective Gradient-Free Graph Convolutional Networks [20.448409424929604]
  近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。 本稿では,過度な平滑化と消失する勾配現象を関連づけ,勾配のないトレーニングフレームワークを構築する。 提案手法は, ノード分類タスクにおいて, 深度や訓練時間を大幅に短縮して, より優れた, より安定した性能を実現する。
  論文  参考訳（メタデータ） (2023-02-01T11:00:24Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision [13.180922099929765]
  ディープグラフニューラルネットワーク(GNN)は、層数が増加すると過度に滑らかになる。 本研究では,すべての層で学習した表現を訓練に利用するDSGNNを提案する。 DSGNNは過度に平滑であり,ノードおよびグラフ特性予測問題における競合ベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-25T06:05:55Z)
• Investigating Transfer Learning in Graph Neural Networks [2.320417845168326]
  グラフニューラルネットワーク(GNN)は、グラフ空間で使用するように拡張することで、ディープラーニングモデルの成功に基づいて構築される。 トランスファーラーニングは、従来のディープラーニング問題に対して非常に成功している。 本研究は,トランスファーラーニングがGNNに有効であることを示し,ソースタスクとGNNの選択が一般化可能な知識を学習する能力にどのように影響するかを説明する。
  論文  参考訳（メタデータ） (2022-02-01T20:33:15Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
  グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。 少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。 本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
  論文  参考訳（メタデータ） (2020-07-14T07:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。