Fugu-MT 論文翻訳(概要): Can LLMs Alleviate Catastrophic Forgetting in Graph Continual Learning? A Systematic Study

論文の概要: Can LLMs Alleviate Catastrophic Forgetting in Graph Continual Learning? A Systematic Study

arxiv url: http://arxiv.org/abs/2505.18697v1
Date: Sat, 24 May 2025 13:43:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-27 16:58:42.598954
Title: Can LLMs Alleviate Catastrophic Forgetting in Graph Continual Learning? A Systematic Study
Title（参考訳）: LLMはグラフ連続学習における破滅的予測を軽減できるか? : 系統的研究
Authors: Ziyang Cheng, Zhixun Li, Yuhan Li, Yixin Song, Kangyi Zhao, Dawei Cheng, Jia Li, Jeffrey Xu Yu,
Abstract要約: グラフ構造データを含む実世界のデータはしばしばストリーミング方式で配信されるため、学習システムは新たな知識を継続的に取得する必要がある。本稿では,従来のGNNベースラインを約20%超えたシンプルなグラフ連続学習手法であるSimple Graph Continual Learning(SimGCL)を提案する。
参考スコア（独自算出の注目度）: 35.60356938705585
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Nowadays, real-world data, including graph-structure data, often arrives in a streaming manner, which means that learning systems need to continuously acquire new knowledge without forgetting previously learned information. Although substantial existing works attempt to address catastrophic forgetting in graph machine learning, they are all based on training from scratch with streaming data. With the rise of pretrained models, an increasing number of studies have leveraged their strong generalization ability for continual learning. Therefore, in this work, we attempt to answer whether large language models (LLMs) can mitigate catastrophic forgetting in Graph Continual Learning (GCL). We first point out that current experimental setups for GCL have significant flaws, as the evaluation stage may lead to task ID leakage. Then, we evaluate the performance of LLMs in more realistic scenarios and find that even minor modifications can lead to outstanding results. Finally, based on extensive experiments, we propose a simple-yet-effective method, Simple Graph Continual Learning (SimGCL), that surpasses the previous state-of-the-art GNN-based baseline by around 20% under the rehearsal-free constraint. To facilitate reproducibility, we have developed an easy-to-use benchmark LLM4GCL for training and evaluating existing GCL methods. The code is available at: https://github.com/ZhixunLEE/LLM4GCL.
Abstract（参考訳）: 現在、グラフ構造データを含む現実世界のデータはしばしばストリーミング方式で届き、学習システムは学習した情報を忘れずに新しい知識を継続的に取得する必要がある。グラフ機械学習における破滅的な忘れに対処しようとする既存の研究は、すべてストリーミングデータのスクラッチからトレーニングに基づいている。事前学習モデルの増加に伴い、継続学習に強力な一般化能力を活用する研究が増えている。そこで本研究では,大規模言語モデル(LLM)がグラフ連続学習(GCL)における破滅的な忘れを軽減できるかどうかを問う。評価段階がタスクIDの漏洩につながる可能性があるため, GCL の現在の実験装置には重大な欠陥があることを最初に指摘した。そして, LLMの性能を現実的なシナリオで評価し, 微調整でも優れた結果が得られることを示した。最後に, 従来のGNNベースラインを約20%上回り, リハーサルのない制約下で, 簡易グラフ連続学習法(SimGCL)を提案する。再現性を向上させるため,既存のGCL手法を訓練・評価するためのLLM4GCLベンチマークを開発した。コードはhttps://github.com/ZhixunLEE/LLM4GCLで入手できる。

関連論文リスト

InfoNCE is a Free Lunch for Semantically guided Graph Contrastive Learning [60.61079931266331]
グラフコントラスト学習(GCL)は、グラフ基盤モデルやLLMの研究の急増において、グラフのエンハンサーとして重要な役割を担っている。従来のGCLでは、自己監督タスクの定義に拡張を使用し、強化ペアを正のサンプルとして、その他のものを負のサンプルとして扱う。本稿では,GCLは基本的に,自己教師型タスクの定義を意味的に導くべき,肯定的非ラベル付き学習問題である,と論じる。
論文参考訳（メタデータ） (2025-05-07T05:27:36Z)
A Selective Learning Method for Temporal Graph Continual Learning [18.793135016181804]
リアルタイムの時間グラフはしばしば時間とともに新しいノードクラスを導入しますが、既存のTGLメソッドは固定されたクラスのセットを前提としています。本稿では,新しい問題を時間グラフ連続学習(TGCL)として定義する。このような置換によって生じる誤差の上限を導出し、古いクラスデータの分布を保ちながら、分類誤差を最小限に抑えるサブセットの選択と学習の目的に変換する。
論文参考訳（メタデータ） (2025-03-03T14:22:20Z)
How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
論文参考訳（メタデータ） (2024-10-04T04:48:33Z)
GLBench: A Comprehensive Benchmark for Graph with Large Language Models [41.89444363336435]
GLBenchは、教師付きシナリオとゼロショットシナリオの両方でGraphLLMメソッドを評価するための最初の包括的なベンチマークである。 GLBenchはグラフニューラルネットワークのような従来のベースラインとともに、GraphLLMメソッドのさまざまなカテゴリを公平かつ徹底的に評価する。
論文参考訳（メタデータ） (2024-07-10T08:20:47Z)
Continual Learning on Graphs: Challenges, Solutions, and Opportunities [72.7886669278433]
本稿では,既存の連続グラフ学習(CGL)アルゴリズムの総合的なレビューを行う。従来の連続学習手法と比較し,従来の連続学習手法の適用性を分析した。アクセス可能なアルゴリズムの包括的なリストを含む、最新のリポジトリを維持します。
論文参考訳（メタデータ） (2024-02-18T12:24:45Z)
Benchmarking Sensitivity of Continual Graph Learning for Skeleton-Based Action Recognition [6.14431765787048]
継続的学習(CL)は、スクラッチからリトレーニングすることなく、さまざまなタスクにわたって知識を継続的に蓄積できる機械学習モデルを構築することを目的としている。従来の研究では、事前学習グラフニューラルネットワーク(GNN)が微調整後に負の伝達を引き起こす可能性があることが示されている。連続グラフ学習設定のための最初の連続グラフ学習ベンチマークを提案する。
論文参考訳（メタデータ） (2024-01-31T18:20:42Z)
Curriculum Learning for Graph Neural Networks: Which Edges Should We Learn First [13.37867275976255]
本研究は, 難易度から難易度, 難易度に応じて, より多くのエッジをトレーニングに組み込む新しい戦略を提案する。提案手法の強みは,学習した表現の一般化能力とロバスト性の向上である。
論文参考訳（メタデータ） (2023-10-28T15:35:34Z)
Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文参考訳（メタデータ） (2023-07-07T05:31:31Z)
Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
論文参考訳（メタデータ） (2022-10-17T07:16:17Z)
Challenging Common Assumptions about Catastrophic Forgetting [13.1202659074346]
本研究では,データ再帰を伴うタスクの長いシーケンスにおいて,勾配に基づくアルゴリズムを用いて訓練されたDNNにおける進歩的知識蓄積(KA)について検討する。そこで我々は,SCoLeという新しいフレームワークを提案し,SGDで訓練したDNNに対して破滅的忘れ込みが限定的であることを示す。
論文参考訳（メタデータ） (2022-07-10T21:40:54Z)
The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文参考訳（メタデータ） (2022-01-17T09:09:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。