論文の概要: Replay-and-Forget-Free Graph Class-Incremental Learning: A Task Profiling and Prompting Approach
- arxiv url: http://arxiv.org/abs/2410.10341v1
- Date: Mon, 28 Oct 2024 00:01:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 22:14:39.853793
- Title: Replay-and-Forget-Free Graph Class-Incremental Learning: A Task Profiling and Prompting Approach
- Title（参考訳）: Replay-and-fort-free Graph Class-Incremental Learning:タスクプロファイリングとプロンプトアプローチ
- Authors: Chaoxi Niu, Guansong Pang, Ling Chen, Bing Liu,
- Abstract要約: クラス増分学習(Class-incremental Learning, CIL)は、一連のタスクを連続的に学習することを目的としており、各タスクは固有のクラスで構成されている。
CILの主な特徴は、推論中にタスク識別子(ID)が存在しないことである。
グラフデータに対する正確なタスクID予測はラプラシアスムースティングに基づくグラフタスクプロファイリング手法により実現できることを示す。
- 参考スコア（独自算出の注目度）: 28.194940062243003
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Class-incremental learning (CIL) aims to continually learn a sequence of tasks, with each task consisting of a set of unique classes. Graph CIL (GCIL) follows the same setting but needs to deal with graph tasks (e.g., node classification in a graph). The key characteristic of CIL lies in the absence of task identifiers (IDs) during inference, which causes a significant challenge in separating classes from different tasks (i.e., inter-task class separation). Being able to accurately predict the task IDs can help address this issue, but it is a challenging problem. In this paper, we show theoretically that accurate task ID prediction on graph data can be achieved by a Laplacian smoothing-based graph task profiling approach, in which each graph task is modeled by a task prototype based on Laplacian smoothing over the graph. It guarantees that the task prototypes of the same graph task are nearly the same with a large smoothing step, while those of different tasks are distinct due to differences in graph structure and node attributes. Further, to avoid the catastrophic forgetting of the knowledge learned in previous graph tasks, we propose a novel graph prompting approach for GCIL which learns a small discriminative graph prompt for each task, essentially resulting in a separate classification model for each task. The prompt learning requires the training of a single graph neural network (GNN) only once on the first task, and no data replay is required thereafter, thereby obtaining a GCIL model being both replay-free and forget-free. Extensive experiments on four GCIL benchmarks show that i) our task prototype-based method can achieve 100% task ID prediction accuracy on all four datasets, ii) our GCIL model significantly outperforms state-of-the-art competing methods by at least 18% in average CIL accuracy, and iii) our model is fully free of forgetting on the four datasets.
- Abstract（参考訳）: クラス増分学習(Class-incremental Learning, CIL)は、一連のタスクを連続的に学習することを目的としており、各タスクは固有のクラスで構成されている。
グラフ CIL (GCIL) は同じ設定に従うが、グラフタスク(グラフ内のノード分類など)を扱う必要がある。
CILのキーとなる特徴は、推論中にタスク識別子(ID)が存在しないことである。
タスクIDを正確に予測できることは、この問題に対処するのに役立ちますが、これは難しい問題です。
本稿では,グラフデータに対する正確なタスクID予測が,グラフ上のラプラシアスムージングに基づくグラフタスクプロファイリングアプローチによって実現可能であることを理論的に示し,グラフ上のラプラシアスムージングに基づくタスクプロトタイプによって各グラフタスクをモデル化する。
同じグラフタスクのタスクプロトタイプは、大きなスムーズなステップでほぼ同じであるのに対して、異なるタスクのプロトタイプはグラフ構造とノード属性の違いによって異なる。
さらに、従来のグラフタスクで学んだ知識の破滅的な忘れを避けるために、各タスクに対して小さな識別グラフプロンプトを学習するGCILの新しいグラフプロンプトアプローチを提案する。
プロンプト学習では、最初のタスクで1回だけ1つのグラフニューラルネットワーク(GNN)のトレーニングが必要であり、その後のデータ再生は不要である。
4つのGCILベンチマークの大規模な実験は、そのことを示している。
一 タスクプロトタイプに基づく手法は、4つのデータセットすべてに対して100%タスクID予測精度を達成できる。
二 当社のGCILモデルは、平均CIL精度を少なくとも18%上回り、最先端の競合手法を著しく上回ります。
三 私たちのモデルは、4つのデータセットを忘れてはなりません。
関連論文リスト
- Instance-Aware Graph Prompt Learning [71.26108600288308]
本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。
このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。
複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-11-26T18:38:38Z) - Exploring Task Unification in Graph Representation Learning via Generative Approach [12.983429541410617]
グラフは現実世界のシナリオにおいてユビキタスであり、ノードレベル、エッジレベル、グラフレベルのタスクから移行学習まで、さまざまなタスクを含んでいる。
最近の取り組みは、複数のグラフタスクをまたいで一般化できる統一されたフレームワークを設計することを目的としている。
これらのうち、グラフオートエンコーダ(GAE)は、様々なグラフタスクに効果的に対処する可能性を示している。
本稿では,これらの課題にシームレスに対処可能な,対向マスク型オートエンコーダであるGA2Eを提案する。
論文 参考訳（メタデータ） (2024-03-21T12:14:02Z) - All in One: Multi-Task Prompting for Graph Neural Networks (Extended
Abstract) [30.457491401821652]
本論文は,KDD23で発表された論文の要約であり,研究論文賞を受賞した。
これは、事前訓練されたグラフモデルと適用されるさまざまなタスクの間のギャップを埋める新しいアプローチを導入します。
論文 参考訳（メタデータ） (2024-03-11T16:04:58Z) - One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。
上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。
OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
論文 参考訳（メタデータ） (2023-09-29T21:15:26Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。
まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。
次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
論文 参考訳（メタデータ） (2023-07-04T06:27:31Z) - Unsupervised Task Graph Generation from Instructional Video Transcripts [53.54435048879365]
本研究では,実世界の活動を行う指導ビデオのテキスト書き起こしを提供する環境について考察する。
目標は、これらの重要なステップ間の依存関係関係と同様に、タスクに関連する重要なステップを特定することです。
本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
論文 参考訳（メタデータ） (2023-02-17T22:50:08Z) - Self-supervised Learning for Heterogeneous Graph via Structure
Information based on Metapath [9.757299837675204]
自己教師付き表現学習はこの問題に対処するための潜在的アプローチである。
本稿では,メタパスに基づく構造情報を用いたヘテロジニアスグラフの教師付き学習手法を提案する。
ジャンプ数を予測するために、SESIMはデータ自体を使用してラベルを生成する。
論文 参考訳（メタデータ） (2022-09-09T10:06:18Z) - DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。
我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。
本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
論文 参考訳（メタデータ） (2022-04-28T12:00:39Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。