論文の概要: Can LLMs Alleviate Catastrophic Forgetting in Graph Continual Learning? A Systematic Study

• arxiv url: http://arxiv.org/abs/2505.18697v1
• Date: Sat, 24 May 2025 13:43:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.598954
• Title: Can LLMs Alleviate Catastrophic Forgetting in Graph Continual Learning? A Systematic Study
• Title（参考訳）: LLMはグラフ連続学習における破滅的予測を軽減できるか? : 系統的研究
• Authors: Ziyang Cheng, Zhixun Li, Yuhan Li, Yixin Song, Kangyi Zhao, Dawei Cheng, Jia Li, Jeffrey Xu Yu,
• Abstract要約: グラフ構造データを含む実世界のデータはしばしばストリーミング方式で配信されるため、学習システムは新たな知識を継続的に取得する必要がある。 本稿では,従来のGNNベースラインを約20%超えたシンプルなグラフ連続学習手法であるSimple Graph Continual Learning(SimGCL)を提案する。
• 参考スコア（独自算出の注目度）: 35.60356938705585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Nowadays, real-world data, including graph-structure data, often arrives in a streaming manner, which means that learning systems need to continuously acquire new knowledge without forgetting previously learned information. Although substantial existing works attempt to address catastrophic forgetting in graph machine learning, they are all based on training from scratch with streaming data. With the rise of pretrained models, an increasing number of studies have leveraged their strong generalization ability for continual learning. Therefore, in this work, we attempt to answer whether large language models (LLMs) can mitigate catastrophic forgetting in Graph Continual Learning (GCL). We first point out that current experimental setups for GCL have significant flaws, as the evaluation stage may lead to task ID leakage. Then, we evaluate the performance of LLMs in more realistic scenarios and find that even minor modifications can lead to outstanding results. Finally, based on extensive experiments, we propose a simple-yet-effective method, Simple Graph Continual Learning (SimGCL), that surpasses the previous state-of-the-art GNN-based baseline by around 20% under the rehearsal-free constraint. To facilitate reproducibility, we have developed an easy-to-use benchmark LLM4GCL for training and evaluating existing GCL methods. The code is available at: https://github.com/ZhixunLEE/LLM4GCL.
• Abstract（参考訳）: 現在、グラフ構造データを含む現実世界のデータはしばしばストリーミング方式で届き、学習システムは学習した情報を忘れずに新しい知識を継続的に取得する必要がある。 グラフ機械学習における破滅的な忘れに対処しようとする既存の研究は、すべてストリーミングデータのスクラッチからトレーニングに基づいている。 事前学習モデルの増加に伴い、継続学習に強力な一般化能力を活用する研究が増えている。 そこで本研究では,大規模言語モデル(LLM)がグラフ連続学習(GCL)における破滅的な忘れを軽減できるかどうかを問う。 評価段階がタスクIDの漏洩につながる可能性があるため, GCL の現在の実験装置には重大な欠陥があることを最初に指摘した。 そして, LLMの性能を現実的なシナリオで評価し, 微調整でも優れた結果が得られることを示した。 最後に, 従来のGNNベースラインを約20%上回り, リハーサルのない制約下で, 簡易グラフ連続学習法(SimGCL)を提案する。 再現性を向上させるため,既存のGCL手法を訓練・評価するためのLLM4GCLベンチマークを開発した。 コードはhttps://github.com/ZhixunLEE/LLM4GCLで入手できる。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• GLBench: A Comprehensive Benchmark for Graph with Large Language Models [41.89444363336435]
  GLBenchは、教師付きシナリオとゼロショットシナリオの両方でGraphLLMメソッドを評価するための最初の包括的なベンチマークである。 GLBenchはグラフニューラルネットワークのような従来のベースラインとともに、GraphLLMメソッドのさまざまなカテゴリを公平かつ徹底的に評価する。
  論文  参考訳（メタデータ） (2024-07-10T08:20:47Z)
• Continual Learning on Graphs: Challenges, Solutions, and Opportunities [72.7886669278433]
  本稿では,既存の連続グラフ学習(CGL)アルゴリズムの総合的なレビューを行う。 従来の連続学習手法と比較し,従来の連続学習手法の適用性を分析した。 アクセス可能なアルゴリズムの包括的なリストを含む、最新のリポジトリを維持します。
  論文  参考訳（メタデータ） (2024-02-18T12:24:45Z)
• Benchmarking Sensitivity of Continual Graph Learning for Skeleton-Based Action Recognition [6.14431765787048]
  継続的学習(CL)は、スクラッチからリトレーニングすることなく、さまざまなタスクにわたって知識を継続的に蓄積できる機械学習モデルを構築することを目的としている。 従来の研究では、事前学習グラフニューラルネットワーク(GNN)が微調整後に負の伝達を引き起こす可能性があることが示されている。 連続グラフ学習設定のための最初の連続グラフ学習ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-31T18:20:42Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。