論文の概要: Graph Continual Learning with Debiased Lossless Memory Replay

• arxiv url: http://arxiv.org/abs/2404.10984v2
• Date: Tue, 15 Oct 2024 04:11:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:57:47.328397
• Title: Graph Continual Learning with Debiased Lossless Memory Replay
• Title（参考訳）: 劣化したロスレスメモリリプレイによるグラフ連続学習
• Authors: Chaoxi Niu, Guansong Pang, Ling Chen,
• Abstract要約: リアルタイムグラフデータはしばしば継続的に拡張され、静的グラフデータにグラフニューラルネットワーク(GNN)の学習が非現実的になる。 グラフ連続学習(GCL)は、従来のタスクのグラフ上での性能を維持しながら、現在のタスクの拡張グラフにGNNを継続的に適応することにより、この問題に対処する。 新しいタスクを学習する際の過去のタスクのデータ再生を目的としたメモリリプレイベースの手法が,従来のタスクから学んだ知識を忘れないようにするための原則的アプローチとして検討されている。 本稿では、この手法をDebiased Lossless Memory Replay (DeLo)と呼ばれる新しいフレームワークで拡張する。
• 参考スコア（独自算出の注目度）: 24.67200419367994
• License:
• Abstract: Real-life graph data often expands continually, rendering the learning of graph neural networks (GNNs) on static graph data impractical. Graph continual learning (GCL) tackles this problem by continually adapting GNNs to the expanded graph of the current task while maintaining the performance over the graph of previous tasks. Memory replay-based methods, which aim to replay data of previous tasks when learning new tasks, have been explored as one principled approach to mitigate the forgetting of the knowledge learned from the previous tasks. In this paper we extend this methodology with a novel framework, called Debiased Lossless Memory replay (DeLoMe). Unlike existing methods that sample nodes/edges of previous graphs to construct the memory, DeLoMe learns small lossless synthetic node representations as the memory. The learned memory can not only preserve the graph data privacy but also capture the holistic graph information, for which the sampling-based methods are not viable. Further, prior methods suffer from bias toward the current task due to the data imbalance between the classes in the memory data and the current data. A debiased GCL loss function is devised in DeLoMe to effectively alleviate this bias. Extensive experiments on four graph datasets show the effectiveness of DeLoMe under both class- and task-incremental learning settings.
• Abstract（参考訳）: リアルタイムグラフデータはしばしば継続的に拡張され、静的グラフデータにグラフニューラルネットワーク(GNN)の学習が非現実的になる。 グラフ連続学習(GCL)は、従来のタスクのグラフ上での性能を維持しながら、現在のタスクの拡張グラフにGNNを継続的に適応することにより、この問題に対処する。 新しいタスクを学習する際の過去のタスクのデータ再生を目的としたメモリリプレイベースの手法が,従来のタスクから学んだ知識を忘れないようにするための原則的アプローチとして検討されている。 本稿では,この手法をDebiased Lossless Memory Replay (DeLoMe)と呼ばれる新しいフレームワークで拡張する。 以前のグラフのノード/エッジをサンプリングしてメモリを構築する既存の方法とは異なり、DeLoMeはメモリとして小さなロスレス合成ノード表現を学習する。 学習したメモリは、グラフデータのプライバシを保持するだけでなく、サンプリングベースのメソッドが実行できない全体的なグラフ情報をキャプチャする。 さらに、メモリデータ内のクラスと現在のデータとの間のデータ不均衡により、前のメソッドは現在のタスクに対するバイアスに悩まされる。 脱バイアスGCL損失関数は、このバイアスを効果的に緩和するためにDeLoMeで考案された。 4つのグラフデータセットの大規模な実験は、クラスおよびタスクインクリメンタルな学習環境下でのDeLoMeの有効性を示している。

関連論文リスト

• Faster Inference Time for GNNs using coarsening [1.323700980948722]
  粗い手法はグラフを小さくするために使われ、計算が高速化される。 これまでの調査では、推論中にコストに対処できなかった。 本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T06:27:24Z)
• Graph Memory Learning: Imitating Lifelong Remembering and Forgetting of Brain Networks [31.554027786868815]
  本稿では,BGML(Brain-inspired Graph Memory Learning)というグラフメモリ学習の新たな概念を紹介する。 BGMLは、記憶と忘れの潜在的な衝突を軽減するために、特徴グラフの粒度学習に根ざした多階層的階層的漸進学習機構を組み込んでいる。 さらに,新たに追加されるインクリメンタル情報における信頼できない構造の問題に対処するために,情報自己評価のオーナシップ機構を提案する。
  論文  参考訳（メタデータ） (2024-07-27T05:50:54Z)
• A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
  グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。 Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。 本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
  論文  参考訳（メタデータ） (2024-01-05T22:22:13Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• CaT: Balanced Continual Graph Learning with Graph Condensation [29.7368211701716]
  連続グラフ学習(CGL)は、グラフデータをストリーミング形式で供給するグラフモデルを継続的に更新することを目的としている。 近年のリプレイベースの手法では,リプレイされたグラフを格納するメモリバンクと,新しいデータ全体を用いてモデルを更新することで,この問題を解決しようとしている。 これらの問題を解決するために,コンデンス・アンド・トレインの枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-18T03:28:49Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
  最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。 我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。 本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
  論文  参考訳（メタデータ） (2022-04-28T12:00:39Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
  Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。 グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。 我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
  論文  参考訳（メタデータ） (2022-01-04T15:49:18Z)
• Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking [58.30147362745852]
  フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。 既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。 そこで本研究では,学習可能なグラフマッチング手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T08:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。