Fugu-MT 論文翻訳(概要): MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL

論文の概要: MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL

arxiv url: http://arxiv.org/abs/2504.13691v1
Date: Fri, 18 Apr 2025 13:48:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-28 15:38:18.001996
Title: MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL
Title（参考訳）: GFSCILの破砕防止のための第2次勾配アライメント
Authors: Jinhui Pang, Changqing Lin, Hao Lin, Jinglin He, Zhengjun Li, Zhihui Zhang, Xiaoshuai Hao,
Abstract要約: Graph Few-Shot Class-Incremental Learning (GFSCIL)は、大規模なベースデータセットで最初のトレーニングを行った後、新しいタスクの限られたサンプルからモデルを継続的に学習することを可能にする。既存のGFSCILアプローチは通常、計量に基づくクラス表現にPN(Prototypeal Networks)を使用し、漸進的な学習段階においてモデルを微調整する。本稿では,GFSCILの破滅的忘れを効果的に軽減することを目的とした,モデル非依存型メタグラフ連続学習(MEGA)を紹介する。
参考スコア（独自算出の注目度）: 3.6286522594499373
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Graph Few-Shot Class-Incremental Learning (GFSCIL) enables models to continually learn from limited samples of novel tasks after initial training on a large base dataset. Existing GFSCIL approaches typically utilize Prototypical Networks (PNs) for metric-based class representations and fine-tune the model during the incremental learning stage. However, these PN-based methods oversimplify learning via novel query set fine-tuning and fail to integrate Graph Continual Learning (GCL) techniques due to architectural constraints. To address these challenges, we propose a more rigorous and practical setting for GFSCIL that excludes query sets during the incremental training phase. Building on this foundation, we introduce Model-Agnostic Meta Graph Continual Learning (MEGA), aimed at effectively alleviating catastrophic forgetting for GFSCIL. Specifically, by calculating the incremental second-order gradient during the meta-training stage, we endow the model to learn high-quality priors that enhance incremental learning by aligning its behaviors across both the meta-training and incremental learning stages. Extensive experiments on four mainstream graph datasets demonstrate that MEGA achieves state-of-the-art results and enhances the effectiveness of various GCL methods in GFSCIL. We believe that our proposed MEGA serves as a model-agnostic GFSCIL paradigm, paving the way for future research.
Abstract（参考訳）: Graph Few-Shot Class-Incremental Learning (GFSCIL)は、大規模なベースデータセットで最初のトレーニングを行った後、新しいタスクの限られたサンプルからモデルを継続的に学習することを可能にする。既存のGFSCILアプローチは通常、計量に基づくクラス表現にPN(Prototypeal Networks)を使用し、漸進的な学習段階においてモデルを微調整する。しかし、これらのPNベースの手法は、新しいクエリセットによる学習を過度に単純化し、アーキテクチャ上の制約によりグラフ連続学習(GCL)技術を統合することができない。これらの課題に対処するために、インクリメンタルトレーニングフェーズにおいてクエリセットを除外するGFSCILのより厳密で実用的な設定を提案する。この基盤を基盤として,GFSCILの破滅的な忘れを効果的に緩和することを目的とした,モデル非依存型メタグラフ連続学習(MEGA)を導入する。具体的には、メタトレーニング段階における段階的な2次勾配を計算することにより、メタトレーニング段階と段階的な学習段階の両方で行動を調整することで、段階的な学習を促進する高品質な事前学習モデルを提供する。 4つの主要なグラフデータセットに対する大規模な実験により、MEGAが最先端の結果を達成し、GFSCILにおける様々なGCL手法の有効性を高めることが示されている。我々は,提案するMEGAがモデルに依存しないGFSCILパラダイムとして機能し,今後の研究の道を開くと信じている。

関連論文リスト

Transfer Learning with Foundational Models for Time Series Forecasting using Low-Rank Adaptations [0.0]
本研究は,時系列予測タスクに対するFM,Large Language Modelsの直接的な適応手法であるLLIAMを提案する。 LLIAMとRecurrent Neural NetworksやTemporal Convolutional Networks、LLMベースのTimeLLMなど、さまざまな最先端DLアルゴリズムのパフォーマンスの比較を行った。本研究の結果はLLIAMの有効性を実証し, この単純かつ汎用的なアプローチは, 複雑な修正を加える必要がなくなることなく, 有能な結果が得られることを示した。
論文参考訳（メタデータ） (2024-10-15T12:14:01Z)
How to Make LLMs Strong Node Classifiers? [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文参考訳（メタデータ） (2024-10-03T08:27:54Z)
Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
論文参考訳（メタデータ） (2024-09-26T13:38:33Z)
Train-Attention: Meta-Learning Where to Focus in Continual Knowledge Learning [15.475427498268393]
TAALM(Train-Attention-Augmented Language Model)は,トークンに対する重み付けを動的に予測・適用することにより,学習効率を向上させる。我々は,TAALMがベースライン上での最先端性能を証明し,従来のCKLアプローチと統合した場合に相乗的互換性を示すことを示す。
論文参考訳（メタデータ） (2024-07-24T01:04:34Z)
Benchmarking Sensitivity of Continual Graph Learning for Skeleton-Based Action Recognition [6.14431765787048]
継続的学習(CL)は、スクラッチからリトレーニングすることなく、さまざまなタスクにわたって知識を継続的に蓄積できる機械学習モデルを構築することを目的としている。従来の研究では、事前学習グラフニューラルネットワーク(GNN)が微調整後に負の伝達を引き起こす可能性があることが示されている。連続グラフ学習設定のための最初の連続グラフ学習ベンチマークを提案する。
論文参考訳（メタデータ） (2024-01-31T18:20:42Z)
Constructing Sample-to-Class Graph for Few-Shot Class-Incremental Learning [10.111587226277647]
FSCIL(Few-shot class-incremental Learning)は、いくつかのデータサンプルから新しい概念を継続的に学習するマシンラーニングモデルの構築を目的とする。本稿では,FSCILのためのS2Cグラフ学習手法を提案する。
論文参考訳（メタデータ） (2023-10-31T08:38:14Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:28:29Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)
Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文参考訳（メタデータ） (2021-04-07T17:59:06Z)
B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
論文参考訳（メタデータ） (2021-01-01T09:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。