論文の概要: E-CGL: An Efficient Continual Graph Learner

• arxiv url: http://arxiv.org/abs/2408.09350v1
• Date: Sun, 18 Aug 2024 04:10:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 21:09:49.056387
• Title: E-CGL: An Efficient Continual Graph Learner
• Title（参考訳）: E-CGL: 継続的なグラフ学習の効率化
• Authors: Jianhao Guo, Zixuan Ni, Yun Zhu, Siliang Tang,
• Abstract要約: 連続的なグラフ学習では、グラフはストリーミンググラフデータに基づいて進化する。 連続グラフ学習は適応的かつ効率的なグラフ学習法を必要とする独特な課題を示す。 本稿では,効率的な連続グラフ学習器(E-CGL)について述べる。
• 参考スコア（独自算出の注目度）: 30.757231591601997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning has emerged as a crucial paradigm for learning from sequential data while preserving previous knowledge. In the realm of continual graph learning, where graphs continuously evolve based on streaming graph data, continual graph learning presents unique challenges that require adaptive and efficient graph learning methods in addition to the problem of catastrophic forgetting. The first challenge arises from the interdependencies between different graph data, where previous graphs can influence new data distributions. The second challenge lies in the efficiency concern when dealing with large graphs. To addresses these two problems, we produce an Efficient Continual Graph Learner (E-CGL) in this paper. We tackle the interdependencies issue by demonstrating the effectiveness of replay strategies and introducing a combined sampling strategy that considers both node importance and diversity. To overcome the limitation of efficiency, E-CGL leverages a simple yet effective MLP model that shares weights with a GCN during training, achieving acceleration by circumventing the computationally expensive message passing process. Our method comprehensively surpasses nine baselines on four graph continual learning datasets under two settings, meanwhile E-CGL largely reduces the catastrophic forgetting problem down to an average of -1.1%. Additionally, E-CGL achieves an average of 15.83x training time acceleration and 4.89x inference time acceleration across the four datasets. These results indicate that E-CGL not only effectively manages the correlation between different graph data during continual training but also enhances the efficiency of continual learning on large graphs. The code is publicly available at https://github.com/aubreygjh/E-CGL.
• Abstract（参考訳）: 連続学習は、先行知識を保ちながらシーケンシャルデータから学ぶための重要なパラダイムとして現れてきた。 連続グラフ学習の領域では、グラフはストリーミンググラフデータに基づいて連続的に進化するが、連続グラフ学習は破滅的忘れの問題に加えて、適応的で効率的なグラフ学習方法を必要とする固有の課題を提示する。 最初の課題は、前のグラフが新しいデータ分散に影響を与える、異なるグラフデータ間の相互依存性から生じます。 2つ目の課題は、大きなグラフを扱う際の効率上の問題である。 本稿では,この2つの問題に対処するために,効率的な連続グラフ学習器(E-CGL)を提案する。 我々は,リプレイ戦略の有効性を実証し,ノードの重要度と多様性を両立したサンプリング戦略を導入することで,相互依存の問題に取り組む。 効率の限界を克服するため、E-CGLは、訓練中にGCNと重みを共有できるシンプルだが効果的なMLPモデルを活用し、計算コストの高いメッセージパッシングプロセスを回避して加速を実現する。 提案手法は4つのグラフ連続学習データセットを2つの設定で総合的に9つのベースラインを超え,一方E-CGLは破滅的な忘れ込み問題を平均1.1%まで削減する。 さらに、E-CGLは4つのデータセットで平均15.83倍のトレーニングタイムアクセラレーションと4.89倍の推論タイムアクセラレーションを達成する。 これらの結果から,E-CGLは連続学習中に異なるグラフデータ間の相関を効果的に管理するだけでなく,大規模グラフ上での連続学習の効率を高めることが示唆された。 コードはhttps://github.com/aubreygjh/E-CGLで公開されている。

関連論文リスト

• Continual Learning on Graphs: Challenges, Solutions, and Opportunities [72.7886669278433]
  本稿では,既存の連続グラフ学習(CGL)アルゴリズムの総合的なレビューを行う。 従来の連続学習手法と比較し,従来の連続学習手法の適用性を分析した。 アクセス可能なアルゴリズムの包括的なリストを含む、最新のリポジトリを維持します。
  論文  参考訳（メタデータ） (2024-02-18T12:24:45Z)
• PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation [49.00940417190911]
  既存のグラフ表現学習モデルは、新しいグラフを学習する際に破滅的な問題に遭遇する。 本稿では,PUMA(PUdo-label guided Memory bAnkrogation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T05:09:58Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Continual Graph Learning: A Survey [4.618696834991205]
  連続学習(CL)の研究は主にユークリッド空間で表されるデータに焦点を当てている。 ほとんどのグラフ学習モデルは静的グラフ用に調整されている。 グラフ学習モデルが漸進的にトレーニングされるとき、破滅的な忘れ方も現れます。
  論文  参考訳（メタデータ） (2023-01-28T15:42:49Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Data Augmentation for Deep Graph Learning: A Survey [66.04015540536027]
  まず,グラフデータ拡張のための分類法を提案し,その拡張情報モダリティに基づいて関連研究を分類し,構造化されたレビューを提供する。 DGLにおける2つの課題(すなわち、最適グラフ学習と低リソースグラフ学習)に焦点を当て、グラフデータ拡張に基づく既存の学習パラダイムについて議論し、レビューする。
  論文  参考訳（メタデータ） (2022-02-16T18:30:33Z)
• Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings [53.58077686470096]
  グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。 実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T19:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。