論文の概要: Graph Continual Learning with Debiased Lossless Memory Replay
- arxiv url: http://arxiv.org/abs/2404.10984v1
- Date: Wed, 17 Apr 2024 01:31:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 15:43:59.542394
- Title: Graph Continual Learning with Debiased Lossless Memory Replay
- Title(参考訳): 劣化したロスレスメモリリプレイによるグラフ連続学習
- Authors: Chaoxi Niu, Guansong Pang, Ling Chen,
- Abstract要約: リアルタイムグラフデータはしばしば継続的に拡張され、静的グラフデータにグラフニューラルネットワーク(GNN)の学習が非現実的になる。
グラフ連続学習(GCL)は、従来のタスクのグラフ上での性能を維持しながら、現在のタスクの拡張グラフにGNNを継続的に適応することにより、この問題に対処する。
新しいタスクを学習する際の過去のタスクのデータ再生を目的としたメモリリプレイベースの手法が,従来のタスクから学んだ知識を忘れないようにするための原則的アプローチとして検討されている。
本稿では、この手法をDebiased Lossless Memory Replay (DeLo)と呼ばれる新しいフレームワークで拡張する。
- 参考スコア(独自算出の注目度): 24.67200419367994
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Real-life graph data often expands continually, rendering the learning of graph neural networks (GNNs) on static graph data impractical. Graph continual learning (GCL) tackles this problem by continually adapting GNNs to the expanded graph of the current task while maintaining the performance over the graph of previous tasks. Memory replay-based methods, which aim to replay data of previous tasks when learning new tasks, have been explored as one principled approach to mitigate the forgetting of the knowledge learned from the previous tasks. In this paper we extend this methodology with a novel framework, called Debiased Lossless Memory replay (DeLoMe). Unlike existing methods that sample nodes/edges of previous graphs to construct the memory, DeLoMe learns small lossless synthetic node representations as the memory. The learned memory can not only preserve the graph data privacy but also capture the holistic graph information, for which the sampling-based methods are not viable. Further, prior methods suffer from bias toward the current task due to the data imbalance between the classes in the memory data and the current data. A debiased GCL loss function is devised in DeLoMe to effectively alleviate this bias. Extensive experiments on four graph datasets show the effectiveness of DeLoMe under both class- and task-incremental learning settings.
- Abstract(参考訳): リアルタイムグラフデータはしばしば継続的に拡張され、静的グラフデータにグラフニューラルネットワーク(GNN)の学習が非現実的になる。
グラフ連続学習(GCL)は、従来のタスクのグラフ上での性能を維持しながら、現在のタスクの拡張グラフにGNNを継続的に適応することにより、この問題に対処する。
新しいタスクを学習する際の過去のタスクのデータ再生を目的としたメモリリプレイベースの手法が,従来のタスクから学んだ知識を忘れないようにするための原則的アプローチとして検討されている。
本稿では,この手法をDebiased Lossless Memory Replay (DeLoMe)と呼ばれる新しいフレームワークで拡張する。
以前のグラフのノード/エッジをサンプリングしてメモリを構築する既存の方法とは異なり、DeLoMeはメモリとして小さなロスレス合成ノード表現を学習する。
学習したメモリは、グラフデータのプライバシを保持するだけでなく、サンプリングベースのメソッドが実行できない全体的なグラフ情報をキャプチャする。
さらに、メモリデータ内のクラスと現在のデータとの間のデータ不均衡により、前のメソッドは現在のタスクに対するバイアスに悩まされる。
脱バイアスGCL損失関数は、このバイアスを効果的に緩和するためにDeLoMeで考案された。
4つのグラフデータセットの大規模な実験は、クラスおよびタスクインクリメンタルな学習環境下でのDeLoMeの有効性を示している。
関連論文リスト
- A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。
Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。
本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
論文 参考訳(メタデータ) (2024-01-05T22:22:13Z) - PUMA: Efficient Continual Graph Learning with Graph Condensation [52.5795409793467]
連続グラフ学習は、静的グラフからストリーミンググラフへのグラフ表現学習を可能にする新しいパラダイムである。
これまでの作業であるCaTは、バランスの取れた継続的な学習手順を備えたリプレイベースのフレームワークです。
本稿では,その効率性と有効性を高めるため,pusdo-label guided memory bank (PUMA) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T05:09:58Z) - Efficient Heterogeneous Graph Learning via Random Projection [65.65132884606072]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳(メタデータ) (2023-10-23T01:25:44Z) - CaT: Balanced Continual Graph Learning with Graph Condensation [29.7368211701716]
連続グラフ学習(CGL)は、グラフデータをストリーミング形式で供給するグラフモデルを継続的に更新することを目的としている。
近年のリプレイベースの手法では,リプレイされたグラフを格納するメモリバンクと,新しいデータ全体を用いてモデルを更新することで,この問題を解決しようとしている。
これらの問題を解決するために,コンデンス・アンド・トレインの枠組みを提案する。
論文 参考訳(メタデータ) (2023-09-18T03:28:49Z) - DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。
我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。
本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
論文 参考訳(メタデータ) (2022-04-28T12:00:39Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳(メタデータ) (2022-03-05T00:28:43Z) - Bringing Your Own View: Graph Contrastive Learning without Prefabricated
Data Augmentations [94.41860307845812]
Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。
GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。
グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。
我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
論文 参考訳(メタデータ) (2022-01-04T15:49:18Z) - Jointly Learnable Data Augmentations for Self-Supervised GNNs [0.311537581064266]
本稿では,グラフ表現学習のための自己教師型学習手法であるGraphSurgeonを提案する。
学習可能なデータ拡張の柔軟性を活用し、埋め込み空間で強化する新しい戦略を導入する。
その結果,GraphSurgeonは6つのSOTA半教師付きベースラインに匹敵し,ノード分類タスクにおける5つのSOTA自己教師付きベースラインに匹敵することがわかった。
論文 参考訳(メタデータ) (2021-08-23T21:33:12Z) - Learnable Graph Matching: Incorporating Graph Partitioning with Deep
Feature Learning for Multiple Object Tracking [58.30147362745852]
フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。
既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。
そこで本研究では,学習可能なグラフマッチング手法を提案する。
論文 参考訳(メタデータ) (2021-03-30T08:58:45Z) - Active Learning on Attributed Graphs via Graph Cognizant Logistic
Regression and Preemptive Query Generation [37.742218733235084]
本稿では,属性グラフにおけるノード分類処理のための新しいグラフベース能動学習アルゴリズムを提案する。
提案アルゴリズムは,線形化グラフ畳み込みニューラルネットワーク(GCN)と等価なグラフ認識ロジスティック回帰を用いて,予測フェーズの誤差低減を最大化する。
5つの公開ベンチマークデータセットで実験を行い、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-07-09T18:00:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。