論文の概要: Prompt-Driven Continual Graph Learning

• arxiv url: http://arxiv.org/abs/2502.06327v1
• Date: Mon, 10 Feb 2025 10:28:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:27.292279
• Title: Prompt-Driven Continual Graph Learning
• Title（参考訳）: プロンプト駆動型連続グラフ学習
• Authors: Qi Wang, Tianfei Zhou, Ye Yuan, Rui Mao,
• Abstract要約: 連続グラフ学習(CGL)は、事前の知識を忘れずに、グラフデータを進化させる新しいタスクに対応することを目的としている。 本稿では,各タスクに対する個別のプロンプトを学習し,基礎となるグラフニューラルネットワークモデルを固定した新しいプロンプト駆動連続グラフ学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 35.58675758528851
• License:
• Abstract: Continual Graph Learning (CGL), which aims to accommodate new tasks over evolving graph data without forgetting prior knowledge, is garnering significant research interest. Mainstream solutions adopt the memory replay-based idea, ie, caching representative data from earlier tasks for retraining the graph model. However, this strategy struggles with scalability issues for constantly evolving graphs and raises concerns regarding data privacy. Inspired by recent advancements in the prompt-based learning paradigm, this paper introduces a novel prompt-driven continual graph learning (PROMPTCGL) framework, which learns a separate prompt for each incoming task and maintains the underlying graph neural network model fixed. In this way, PROMPTCGL naturally avoids catastrophic forgetting of knowledge from previous tasks. More specifically, we propose hierarchical prompting to instruct the model from both feature- and topology-level to fully address the variability of task graphs in dynamic continual learning. Additionally, we develop a personalized prompt generator to generate tailored prompts for each graph node while minimizing the number of prompts needed, leading to constant memory consumption regardless of the graph scale. Extensive experiments on four benchmarks show that PROMPTCGL achieves superior performance against existing CGL approaches while significantly reducing memory consumption. Our code is available at https://github.com/QiWang98/PromptCGL.
• Abstract（参考訳）: 従来の知識を忘れずにグラフデータを進化させる新しいタスクに対応することを目的とした連続グラフ学習(CGL)は、大きな研究の関心を集めている。 メインストリームソリューションでは、メモリリプレイベースのアイデア、すなわち、以前のタスクから代表的なデータをキャッシュして、グラフモデルを再トレーニングする。 しかしながら、この戦略は、絶えず進化するグラフに対するスケーラビリティの問題に対処し、データのプライバシに関する懸念を提起する。 本稿では,近年のプロンプトベース学習パラダイムの進歩に触発されて,各タスクに対する個別のプロンプトを学習し,基礎となるグラフニューラルネットワークモデルを固定した新しいプロンプト駆動連続グラフ学習(PROMPTCGL)フレームワークを提案する。 このようにして、PROMPTCGLは、過去のタスクからの知識の破滅的な忘れを自然に避ける。 より具体的には、動的連続学習におけるタスクグラフのばらつきを完全に解消するために、特徴レベルと位相レベルの両方からモデルを指示する階層的プロンプトを提案する。 さらに,各グラフノードに対してパーソナライズされたプロンプトを生成するためのパーソナライズされたプロンプト生成器を開発した。 4つのベンチマークにおいて、PROMPTCGLは、メモリ消費を大幅に削減しつつ、既存のCGLアプローチよりも優れた性能を発揮することを示した。 私たちのコードはhttps://github.com/QiWang98/PromptCGLで利用可能です。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Graph Memory Learning: Imitating Lifelong Remembering and Forgetting of Brain Networks [31.554027786868815]
  本稿では,BGML(Brain-inspired Graph Memory Learning)というグラフメモリ学習の新たな概念を紹介する。 BGMLは、記憶と忘れの潜在的な衝突を軽減するために、特徴グラフの粒度学習に根ざした多階層的階層的漸進学習機構を組み込んでいる。 さらに,新たに追加されるインクリメンタル情報における信頼できない構造の問題に対処するために,情報自己評価のオーナシップ機構を提案する。
  論文  参考訳（メタデータ） (2024-07-27T05:50:54Z)
• Continual Learning on Graphs: Challenges, Solutions, and Opportunities [72.7886669278433]
  本稿では,既存の連続グラフ学習(CGL)アルゴリズムの総合的なレビューを行う。 従来の連続学習手法と比較し,従来の連続学習手法の適用性を分析した。 アクセス可能なアルゴリズムの包括的なリストを含む、最新のリポジトリを維持します。
  論文  参考訳（メタデータ） (2024-02-18T12:24:45Z)
• A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
  グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。 Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。 本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
  論文  参考訳（メタデータ） (2024-01-05T22:22:13Z)
• PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation [49.00940417190911]
  既存のグラフ表現学習モデルは、新しいグラフを学習する際に破滅的な問題に遭遇する。 本稿では,PUMA(PUdo-label guided Memory bAnkrogation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T05:09:58Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks [16.455234748896157]
  GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。 トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。 また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
  論文  参考訳（メタデータ） (2023-02-16T02:51:38Z)
• DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
  最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。 我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。 本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
  論文  参考訳（メタデータ） (2022-04-28T12:00:39Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。