Fugu-MT 論文翻訳(概要): PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation

論文の概要: PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation

arxiv url: http://arxiv.org/abs/2312.14439v2
Date: Wed, 10 Jul 2024 00:37:02 GMT
ステータス: 処理完了
システム内更新日: 2024-07-11 21:59:38.394127
Title: PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation
Title（参考訳）: PUMA:グラフ凝縮を用いたノード分類のための効率的な連続グラフ学習
Authors: Yilun Liu, Ruihong Qiu, Yanran Tang, Hongzhi Yin, Zi Huang,
Abstract要約: 既存のグラフ表現学習モデルは、新しいグラフを学習する際に破滅的な問題に遭遇する。本稿では,PUMA(PUdo-label guided Memory bAnkrogation)フレームワークを提案する。
参考スコア（独自算出の注目度）: 49.00940417190911
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: When handling streaming graphs, existing graph representation learning models encounter a catastrophic forgetting problem, where previously learned knowledge of these models is easily overwritten when learning with newly incoming graphs. In response, Continual Graph Learning (CGL) emerges as a novel paradigm enabling graph representation learning from streaming graphs. Our prior work, Condense and Train (CaT) is a replay-based CGL framework with a balanced continual learning procedure, which designs a small yet effective memory bankn for replaying. Although the CaT alleviates the catastrophic forgetting problem, there exist three issues: (1) The graph condensation only focuses on labelled nodes while neglecting abundant information carried by unlabelled nodes; (2) The continual training scheme of the CaT overemphasises on the previously learned knowledge, limiting the model capacity to learn from newly added memories; (3) Both the condensation process and replaying process of the CaT are time-consuming. In this paper, we propose a PsUdo-label guided Memory bAnk (PUMA) CGL framework, extending from the CaT to enhance its efficiency and effectiveness by overcoming the above-mentioned weaknesses and limits. To fully exploit the information in a graph, PUMA expands the coverage of nodes during graph condensation with both labelled and unlabelled nodes. Furthermore, a training-from-scratch strategy is proposed to upgrade the previous continual learning scheme for a balanced training between the historical and the new graphs. Besides, PUMA uses a one-time prorogation and wide graph encoders to accelerate the graph condensation and the graph encoding process in the training stage to improve the efficiency of the whole framework. Extensive experiments on six datasets for the node classification task demonstrate the state-of-the-art performance and efficiency over existing methods.
Abstract（参考訳）: ストリーミンググラフを扱う場合、既存のグラフ表現学習モデルは破滅的な忘れがちな問題に遭遇する。これに対し、連続グラフ学習(Continuous Graph Learning, CGL)は、ストリーミンググラフからグラフ表現学習を可能にする新しいパラダイムとして登場した。われわれの以前の作業であるCondense and Train (CaT)は、リプレイのための小さな効果的なメモリバンクを設計した、バランスの取れた連続的な学習手順を備えたリプレイベースのCGLフレームワークである。 CaTは破滅的な忘れの問題を緩和するが,(1)グラフ凝縮はラベル付きノードにのみ焦点をあてるが,(2)学習済みの知識に重きを置いて,新たな記憶から学習するモデル能力を制限するCaTの連続的なトレーニングスキーム,(3)凝縮過程と再生過程の両方に時間を要する,という3つの問題がある。本稿では,PsUdo-label guided Memory bAnk (PUMA) CGLフレームワークを提案する。グラフ内の情報をフル活用するために、PUMAはラベル付きノードと非ラベル付きノードの両方でグラフ凝縮時のノードのカバレッジを拡大する。さらに,歴史グラフと新しいグラフとのバランスの取れたトレーニングのために,従来の継続学習方式を改良するための学習戦略を提案する。さらに、PUMAは1回プロローゲーションとワイドグラフエンコーダを使用して、トレーニング段階におけるグラフ凝縮とグラフ符号化プロセスを加速し、フレームワーク全体の効率を向上させる。ノード分類タスクのための6つのデータセットに対する大規模な実験は、既存の手法よりも最先端のパフォーマンスと効率を実証している。

関連論文リスト

GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs [27.169892145194638]
GraphCLIPは、強力なクロスドメインゼロ/フェーショット転送可能性を持つグラフ基盤モデルを学習するためのフレームワークである。 LLMの助けを借りて、大規模グラフ-土木ペアデータを生成し、キュレートする。数ショットの学習では,事前学習目標に沿った新しいグラフプロンプトチューニング手法を提案する。
論文参考訳（メタデータ） (2024-10-14T09:40:52Z)
Do We Really Need Graph Convolution During Training? Light Post-Training Graph-ODE for Efficient Recommendation [34.93725892725111]
トレーニングレコメンデータシステム(RecSys)におけるグラフ畳み込みネットワーク(GCNs)は、絶え間なく懸念されてきた。本稿では,学習段階におけるグラフ畳み込みの必要性を批判的に考察する。光後学習グラフ正規分方程式(LightGODE)という革新的な方法を導入する。
論文参考訳（メタデータ） (2024-07-26T17:59:32Z)
Simple Graph Condensation [30.85754566420301]
グラフ凝縮(Graph condensation)は、グラフニューラルネットワーク(GNN)を小さな凝縮グラフにチューニングし、大規模なオリジナルグラフで使用する。本稿では,SimGC(Simple Graph Condensation)フレームワークについて紹介する。 SimGCは既存のグラフ凝縮法に比べて最大10倍の高速化を実現している。
論文参考訳（メタデータ） (2024-03-22T05:04:48Z)
Two Trades is not Baffled: Condensing Graph via Crafting Rational Gradient Matching [50.30124426442228]
大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
論文参考訳（メタデータ） (2024-02-07T14:49:10Z)
A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。 Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
論文参考訳（メタデータ） (2024-01-05T22:22:13Z)
CaT: Balanced Continual Graph Learning with Graph Condensation [29.7368211701716]
連続グラフ学習(CGL)は、グラフデータをストリーミング形式で供給するグラフモデルを継続的に更新することを目的としている。近年のリプレイベースの手法では,リプレイされたグラフを格納するメモリバンクと,新しいデータ全体を用いてモデルを更新することで,この問題を解決しようとしている。これらの問題を解決するために,コンデンス・アンド・トレインの枠組みを提案する。
論文参考訳（メタデータ） (2023-09-18T03:28:49Z)
Structure-free Graph Condensation: From Large-scale Graphs to Condensed Graph-free Data [91.27527985415007]
既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
論文参考訳（メタデータ） (2023-06-05T07:53:52Z)
Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文参考訳（メタデータ） (2022-03-05T00:28:43Z)
Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文参考訳（メタデータ） (2022-01-17T11:57:29Z)
Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。