論文の概要: CaT: Balanced Continual Graph Learning with Graph Condensation
- arxiv url: http://arxiv.org/abs/2309.09455v1
- Date: Mon, 18 Sep 2023 03:28:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 15:23:59.322590
- Title: CaT: Balanced Continual Graph Learning with Graph Condensation
- Title（参考訳）: CaT: グラフ凝縮による連続グラフ学習のバランス
- Authors: Yilun Liu and Ruihong Qiu and Zi Huang
- Abstract要約: 連続グラフ学習(CGL)は、グラフデータをストリーミング形式で供給するグラフモデルを継続的に更新することを目的としている。
近年のリプレイベース手法では,新しいデータとサンプリングベースメモリバンクの両方を用いてモデルを更新することで,この問題を解決しようとしている。
コードはurlhttps.com/superallen13/CaT-CGLでリリースされた。
- 参考スコア（独自算出の注目度）: 29.7368211701716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual graph learning (CGL) is purposed to continuously update a graph
model with graph data being fed in a streaming manner. Since the model easily
forgets previously learned knowledge when training with new-coming data, the
catastrophic forgetting problem has been the major focus in CGL. Recent
replay-based methods intend to solve this problem by updating the model using
both (1) the entire new-coming data and (2) a sampling-based memory bank that
stores replayed graphs to approximate the distribution of historical data.
After updating the model, a new replayed graph sampled from the incoming graph
will be added to the existing memory bank. Despite these methods are intuitive
and effective for the CGL, two issues are identified in this paper. Firstly,
most sampling-based methods struggle to fully capture the historical
distribution when the storage budget is tight. Secondly, a significant data
imbalance exists in terms of the scales of the complex new-coming graph data
and the lightweight memory bank, resulting in unbalanced training. To solve
these issues, a \textit{Condense and Train (CaT)} framework is proposed in this
paper. Prior to each model update, the new-coming graph is condensed to a small
yet informative synthesised replayed graph, which is then stored in a
\textit{Condensed Graph Memory} with historical replay graphs. In the continual
learning phase, a \textit{Training in Memory} scheme is used to update the
model directly with the \textit{Condensed Graph Memory} rather than the whole
new-coming graph, which alleviates the data imbalance problem. Extensive
experiments conducted on four benchmark datasets successfully demonstrate
superior performances of the proposed CaT framework in terms of effectiveness
and efficiency. The code has been released on
\url{https://github.com/superallen13/CaT-CGL}.
- Abstract（参考訳）: 連続グラフ学習(CGL)は、グラフデータをストリーミング形式で供給するグラフモデルを継続的に更新することを目的としている。
このモデルは、新しいデータでトレーニングする際の学習知識を忘れやすいため、大惨事な忘れの問題がCGLの主要な焦点となっている。
近年のリプレイベース手法では,(1)新しいデータ全体と(2)履歴データの分布を近似するためにリプレイされたグラフを格納するサンプリングベースメモリバンクを用いて,モデルを更新する。
モデルを更新した後、入ってくるグラフからサンプリングされた新しい再生グラフが既存のメモリバンクに追加される。
これらの手法は直感的でCGLに有効であるが,本論文では2つの問題点を同定する。
第一に、ほとんどのサンプリングベース手法は、ストレージ予算が厳しい場合、履歴分布を完全に把握するのに苦労している。
第二に、複雑な新しいグラフデータと軽量メモリバンクのスケールで重要なデータ不均衡が存在し、結果としてトレーニングが不均衡になる。
これらの問題を解決するために,本稿では,<textit{Condense and Train(CaT)フレームワークを提案する。
モデル更新に先立って、新しいグラフは小さいが情報に富んだ合成されたリプレイグラフに集約され、履歴リプレイグラフを持つ \textit{condensed graph memory} に格納される。
連続学習フェーズでは、データ不均衡問題を緩和する新しいグラフではなく、モデルを直接 \textit{condensed graph memory} で更新するために \textit{training in memory}スキームが使用される。
4つのベンチマークデータセットで実施された大規模な実験は、有効性と効率の観点から提案したCaTフレームワークの優れた性能を示すことに成功した。
コードは \url{https://github.com/superallen13/CaT-CGL} でリリースされた。
関連論文リスト
- E-CGL: An Efficient Continual Graph Learner [30.757231591601997]
連続的なグラフ学習では、グラフはストリーミンググラフデータに基づいて進化する。
連続グラフ学習は適応的かつ効率的なグラフ学習法を必要とする独特な課題を示す。
本稿では,効率的な連続グラフ学習器(E-CGL)について述べる。
論文 参考訳（メタデータ） (2024-08-18T04:10:30Z) - Graph Continual Learning with Debiased Lossless Memory Replay [24.67200419367994]
リアルタイムグラフデータはしばしば継続的に拡張され、静的グラフデータにグラフニューラルネットワーク(GNN)の学習が非現実的になる。
グラフ連続学習(GCL)は、従来のタスクのグラフ上での性能を維持しながら、現在のタスクの拡張グラフにGNNを継続的に適応することにより、この問題に対処する。
新しいタスクを学習する際の過去のタスクのデータ再生を目的としたメモリリプレイベースの手法が,従来のタスクから学んだ知識を忘れないようにするための原則的アプローチとして検討されている。
本稿では、この手法をDebiased Lossless Memory Replay (DeLo)と呼ばれる新しいフレームワークで拡張する。
論文 参考訳（メタデータ） (2024-04-17T01:31:00Z) - Two Trades is not Baffled: Condensing Graph via Crafting Rational Gradient Matching [50.30124426442228]
大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。
そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
論文 参考訳（メタデータ） (2024-02-07T14:49:10Z) - A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。
Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。
本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
論文 参考訳（メタデータ） (2024-01-05T22:22:13Z) - PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation [49.00940417190911]
既存のグラフ表現学習モデルは、新しいグラフを学習する際に破滅的な問題に遭遇する。
本稿では,PUMA(PUdo-label guided Memory bAnkrogation)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T05:09:58Z) - Learning Large Graph Property Prediction via Graph Segment Training [61.344814074335304]
本稿では,メモリフットプリントを一定にして大きなグラフ特性予測を学習できる汎用フレームワークを提案する。
バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。
実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
論文 参考訳（メタデータ） (2023-05-21T02:53:25Z) - Contrastive Graph Few-Shot Learning [67.01464711379187]
グラフマイニングタスクのためのコントラストグラフFew-shot Learningフレームワーク(CGFL)を提案する。
CGFLは、データ表現を自己管理的に学習し、分散シフトの影響を緩和し、より良い一般化を行う。
総合的な実験により、CGFLはいくつかのグラフマイニングタスクにおいて最先端のベースラインより優れていることが示された。
論文 参考訳（メタデータ） (2022-09-30T20:40:23Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳（メタデータ） (2022-03-05T00:28:43Z) - Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。
本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
論文 参考訳（メタデータ） (2021-08-16T04:20:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。