論文の概要: Unbiased Online Curvature Approximation for Regularized Graph Continual Learning

• arxiv url: http://arxiv.org/abs/2509.12727v1
• Date: Tue, 16 Sep 2025 06:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.923737
• Title: Unbiased Online Curvature Approximation for Regularized Graph Continual Learning
• Title（参考訳）: 正規化グラフ連続学習のための不偏形オンライン曲率近似
• Authors: Jie Yin, Ke Sun, Han Wu,
• Abstract要約: グラフ連続学習(GCL)は、グラフベースのタスクの連続的なシーケンスから学習することを目的としている。 規則化法はGCLの破滅的な忘れ込みを防ぐのに不可欠である。 本稿では,モデルの現在の学習状況に基づいて,フルフィッシャー情報行列(FIM)の非バイアスオンライン曲率近似を提案する。
• 参考スコア（独自算出の注目度）: 9.70311578832594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph continual learning (GCL) aims to learn from a continuous sequence of graph-based tasks. Regularization methods are vital for preventing catastrophic forgetting in GCL, particularly in the challenging replay-free, class-incremental setting, where each task consists of a set of unique classes. In this work, we first establish a general regularization framework for GCL based on the curved parameter space induced by the Fisher information matrix (FIM). We show that the dominant Elastic Weight Consolidation (EWC) and its variants are a special case within this framework, using a diagonal approximation of the empirical FIM based on parameters from previous tasks. To overcome their limitations, we propose a new unbiased online curvature approximation of the full FIM based on the model's current learning state. Our method directly estimates the regularization term in an online manner without explicitly evaluating and storing the FIM itself. This enables the model to better capture the loss landscape during learning new tasks while retaining the knowledge learned from previous tasks. Extensive experiments on three graph datasets demonstrate that our method significantly outperforms existing regularization-based methods, achieving a superior trade-off between stability (retaining old knowledge) and plasticity (acquiring new knowledge).
• Abstract（参考訳）: グラフ連続学習(GCL)は、グラフベースのタスクの連続的なシーケンスから学習することを目的としている。 正規化手法は、特に各タスクが一組のユニークなクラスから構成される困難なリプレイフリーのクラスインクリメンタルセッティングにおいて、GCLの破滅的な忘れを防止するために不可欠である。 本稿では、まず、Fisher InformationMatrix (FIM) によって誘導される曲線パラメータ空間に基づいて、GCLの一般的な正規化フレームワークを確立する。 本稿では,従来の課題のパラメータに基づく経験的FIMの対角近似を用いて,支配的な弾性重み統合(EWC)とその変種が,この枠組みの特別な場合であることを示す。 これらの制約を克服するために,モデルの現在の学習状況に基づいて,完全FIMの非バイアス付きオンライン曲率近似を提案する。 本手法は、FIM自体を明示的に評価・保存することなく、オンライン方式で正規化項を直接推定する。 これにより、モデルは、新しいタスクを学習しながら、以前のタスクから学んだ知識を保持しながら、損失の状況をよりよく把握することができる。 3つのグラフデータセットに対する大規模な実験により、我々の手法は既存の正規化手法を著しく上回り、安定性(古い知識の保持)と可塑性(新しい知識の獲得)のトレードオフが優れていることが示された。

関連論文リスト

• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [59.6658995479243]
  P&M(texttext-Perturb-and-Merge)は,モデルマージをCLパラダイムに統合し,忘れることを避けるための新しい連続学習フレームワークである。 理論的解析により、全てのタスクにおける総損失増加を最小化し、最適マージ係数の解析解を導出する。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL [9.557104125817668]
  Graph Few-Shot Class-Incremental Learning (GFSCIL)は、大規模なベースデータセットで最初のトレーニングを行った後、新しいタスクの限られたサンプルからモデルを継続的に学習することを可能にする。 既存のGFSCILアプローチは通常、計量に基づくクラス表現にPN(Prototypeal Networks)を使用し、漸進的な学習段階においてモデルを微調整する。 本稿では,GFSCILの破滅的忘れを効果的に軽減することを目的とした,モデル非依存型メタグラフ連続学習(MEGA)を紹介する。
  論文  参考訳（メタデータ） (2025-04-18T13:48:15Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。