論文の概要: PUMA: Efficient Continual Graph Learning with Graph Condensation
- arxiv url: http://arxiv.org/abs/2312.14439v1
- Date: Fri, 22 Dec 2023 05:09:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 16:02:01.209703
- Title: PUMA: Efficient Continual Graph Learning with Graph Condensation
- Title（参考訳）: PUMA: グラフ凝縮を用いた効率的な連続グラフ学習
- Authors: Yilun Liu, Ruihong Qiu, Yanran Tang, Hongzhi Yin, Zi Huang
- Abstract要約: 連続グラフ学習は、静的グラフからストリーミンググラフへのグラフ表現学習を可能にする新しいパラダイムである。
これまでの作業であるCaTは、バランスの取れた継続的な学習手順を備えたリプレイベースのフレームワークです。
本稿では,その効率性と有効性を高めるため,pusdo-label guided memory bank (PUMA) フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 52.5795409793467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When handling streaming graphs, existing graph representation learning models
encounter a catastrophic forgetting problem, where previously learned knowledge
of these models is easily overwritten when learning with newly incoming graphs.
In response, Continual Graph Learning emerges as a novel paradigm enabling
graph representation learning from static to streaming graphs. Our prior work,
CaT is a replay-based framework with a balanced continual learning procedure,
which designs a small yet effective memory bank for replaying data by
condensing incoming graphs. Although the CaT alleviates the catastrophic
forgetting problem, there exist three issues: (1) The graph condensation
algorithm derived in CaT only focuses on labelled nodes while neglecting
abundant information carried by unlabelled nodes; (2) The continual training
scheme of the CaT overemphasises on the previously learned knowledge, limiting
the model capacity to learn from newly added memories; (3) Both the
condensation process and replaying process of the CaT are time-consuming. In
this paper, we propose a psudo-label guided memory bank (PUMA) CGL framework,
extending from the CaT to enhance its efficiency and effectiveness by
overcoming the above-mentioned weaknesses and limits. To fully exploit the
information in a graph, PUMA expands the coverage of nodes during graph
condensation with both labelled and unlabelled nodes. Furthermore, a
training-from-scratch strategy is proposed to upgrade the previous continual
learning scheme for a balanced training between the historical and the new
graphs. Besides, PUMA uses a one-time prorogation and wide graph encoders to
accelerate the graph condensation and the graph encoding process in the
training stage to improve the efficiency of the whole framework. Extensive
experiments on four datasets demonstrate the state-of-the-art performance and
efficiency over existing methods.
- Abstract（参考訳）: ストリーミンググラフを扱う場合、既存のグラフ表現学習モデルは破滅的な忘れがちな問題に遭遇する。
これに対し、連続グラフ学習は、静的グラフからストリーミンググラフへのグラフ表現学習を可能にする新しいパラダイムとして出現する。
これまでの作業であるCaTは、連続的な学習手順をバランスよく行うリプレイベースのフレームワークで、入ってくるグラフを凝縮してデータを再生するための、小さいが効果的なメモリバンクを設計する。
CaTは破滅的な記憶問題を緩和するが,(1)CaTから派生したグラフ凝縮アルゴリズムはラベル付きノードにのみ焦点をあてるが,(2)CaTの継続トレーニングスキームは,これまでに学習した知識に重きを置いて,新たに追加された記憶から学習するモデル能力を制限する;(3)CaTの凝縮過程と再生過程はいずれも時間を要する。
本稿では,CaT から拡張した Psudo-label guided memory bank (PUMA) CGL フレームワークを提案する。
グラフ内の情報をフル活用するために、PUMAはラベル付きノードと非ラベル付きノードの両方でグラフ凝縮時のノードのカバレッジを拡大する。
さらに,過去の連続学習スキームを改良し,歴史と新しいグラフのバランスのとれたトレーニングを行うための,scratchからトレーニング戦略を提案する。
さらにpumaは、ワンタイムプロジェクションとワイドグラフエンコーダを使用して、トレーニングステージにおけるグラフ凝縮とグラフエンコーディングプロセスを加速し、フレームワーク全体の効率を向上させる。
4つのデータセットに関する広範な実験は、既存のメソッドに対する最先端のパフォーマンスと効率を示している。
関連論文リスト
- GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs [27.169892145194638]
GraphCLIPは、強力なクロスドメインゼロ/フェーショット転送可能性を持つグラフ基盤モデルを学習するためのフレームワークである。
LLMの助けを借りて、大規模グラフ-土木ペアデータを生成し、キュレートする。
数ショットの学習では,事前学習目標に沿った新しいグラフプロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2024-10-14T09:40:52Z) - Do We Really Need Graph Convolution During Training? Light Post-Training Graph-ODE for Efficient Recommendation [34.93725892725111]
トレーニングレコメンデータシステム(RecSys)におけるグラフ畳み込みネットワーク(GCNs)は、絶え間なく懸念されてきた。
本稿では,学習段階におけるグラフ畳み込みの必要性を批判的に考察する。
光後学習グラフ正規分方程式(LightGODE)という革新的な方法を導入する。
論文 参考訳（メタデータ） (2024-07-26T17:59:32Z) - Simple Graph Condensation [30.85754566420301]
グラフ凝縮(Graph condensation)は、グラフニューラルネットワーク(GNN)を小さな凝縮グラフにチューニングし、大規模なオリジナルグラフで使用する。
本稿では,SimGC(Simple Graph Condensation)フレームワークについて紹介する。
SimGCは既存のグラフ凝縮法に比べて最大10倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-03-22T05:04:48Z) - Two Trades is not Baffled: Condensing Graph via Crafting Rational Gradient Matching [50.30124426442228]
大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。
そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
論文 参考訳（メタデータ） (2024-02-07T14:49:10Z) - A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。
Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。
本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
論文 参考訳（メタデータ） (2024-01-05T22:22:13Z) - CaT: Balanced Continual Graph Learning with Graph Condensation [29.7368211701716]
連続グラフ学習(CGL)は、グラフデータをストリーミング形式で供給するグラフモデルを継続的に更新することを目的としている。
近年のリプレイベースの手法では,リプレイされたグラフを格納するメモリバンクと,新しいデータ全体を用いてモデルを更新することで,この問題を解決しようとしている。
これらの問題を解決するために,コンデンス・アンド・トレインの枠組みを提案する。
論文 参考訳（メタデータ） (2023-09-18T03:28:49Z) - Structure-free Graph Condensation: From Large-scale Graphs to Condensed
Graph-free Data [91.27527985415007]
既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。
我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
論文 参考訳（メタデータ） (2023-06-05T07:53:52Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳（メタデータ） (2022-03-05T00:28:43Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳（メタデータ） (2022-01-17T11:57:29Z) - Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。
しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。
本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文 参考訳（メタデータ） (2020-01-18T09:14:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。