論文の概要: HERO: Heterogeneous Continual Graph Learning via Meta-Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2505.17458v2
- Date: Sun, 19 Oct 2025 20:31:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:06.535613
- Title: HERO: Heterogeneous Continual Graph Learning via Meta-Knowledge Distillation
- Title(参考訳): HERO:メタ知識蒸留による不均一連続グラフ学習
- Authors: Guiquan Sun, Xikun Zhang, Jingchao Ni, Dongjin Song,
- Abstract要約: HERO(Heterogeneous continual gRaph learning via meta-knedge distillation)は、ヘテロジニアスグラフ上の連続学習のための統一的なフレームワークである。
HEROは、勾配に基づくメタ学習戦略であるメタ適応を採用し、新しいタスクに迅速に適応するための方向性ガイダンスを提供する。
4つのWeb関連ヘテロジニアスグラフベンチマークの実験により、HEROは効率的で一貫した知識再利用を達成しながら破滅的な忘れを著しく軽減することを示した。
- 参考スコア(独自算出の注目度): 18.827073961587136
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Heterogeneous graph neural networks have seen rapid progress in web applications such as social networks, knowledge graphs, and recommendation systems, driven by the inherent heterogeneity of web data. However, existing methods typically assume static graphs, while real-world graphs are continuously evolving. This dynamic nature requires models to adapt to new data while preserving existing knowledge. To this end, this work introduces HERO (HEterogeneous continual gRaph learning via meta-knOwledge distillation), a unified framework for continual learning on heterogeneous graphs. HERO employs meta-adaptation, a gradient-based meta-learning strategy that provides directional guidance for rapid adaptation to new tasks with limited samples. To enable efficient and effective knowledge reuse, we propose DiSCo (Diversity Sampling with semantic Consistency), a heterogeneity-aware sampling method that maximizes target node diversity and expands subgraphs along metapaths, retaining critical semantic and structural information with minimal overhead. Furthermore, HERO incorporates heterogeneity-aware knowledge distillation, which aligns knowledge at both the node and semantic levels to balance adaptation and retention across tasks. Extensive experiments on four web-related heterogeneous graph benchmarks demonstrate that HERO substantially mitigates catastrophic forgetting while achieving efficient and consistent knowledge reuse in dynamic web environments.
- Abstract(参考訳): 不均一グラフニューラルネットワークは、ソーシャルネットワーク、知識グラフ、レコメンデーションシステムなどのWebアプリケーションにおいて、Webデータ固有の不均一性によって急速に進歩している。
しかし、既存の手法は通常静的グラフを仮定するが、現実のグラフは継続的に進化している。
このダイナミックな性質は、既存の知識を維持しながら、新しいデータに適応するモデルを必要とする。
この目的のために, HERO (heterogeneous continual gRaph learning via meta-knOwledge distillation) を導入する。
HEROは、勾配に基づくメタ学習戦略であるメタ適応を採用し、限られたサンプルで新しいタスクに迅速に適応するための方向性ガイダンスを提供する。
目的ノードの多様性を最大化し,メタパスに沿ってサブグラフを拡大し,重要な意味情報や構造情報を最小限のオーバーヘッドで保持する異質性対応サンプリング手法であるDiSCo(Diversity Smpling with semantic Consistency)を提案する。
さらにHEROは、ノードレベルとセマンティックレベルの両方で知識を整合させ、タスク間の適応と保持のバランスをとるヘテロジニティ対応知識蒸留を取り入れている。
4つのWeb関連ヘテロジニアスグラフベンチマークの大規模な実験により、HEROは動的Web環境における効率的で一貫した知識再利用を実現しつつ、破滅的な忘れを著しく軽減することを示した。
関連論文リスト
- Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks [61.608453110751206]
本稿では,グラフニューラルネットワークのための高速かつ高品質なデータフリー知識蒸留手法を提案する。
グラフフリーKD法(ACGKD)は擬似グラフの空間的複雑さを著しく低減する。
ACGKDは、生徒の次元を拡大することで、生徒と教師のモデル間の次元のあいまいさを取り除く。
論文 参考訳(メタデータ) (2025-04-01T08:44:27Z) - A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation [59.14165404728197]
我々は,分散シフト下での深層グラフ学習について,最新かつ先見的なレビューを行う。
具体的には,グラフ OOD 一般化,トレーニング時グラフ OOD 適応,テスト時グラフ OOD 適応の3つのシナリオについて述べる。
文献をよりよく理解するために,既存の手法をモデル中心およびデータ中心のアプローチに分類する系統分類を導入した。
論文 参考訳(メタデータ) (2024-10-25T02:39:56Z) - LAMP: Learnable Meta-Path Guided Adversarial Contrastive Learning for Heterogeneous Graphs [22.322402072526927]
Heterogeneous Graph Contrastive Learning (HGCL)は通常、事前に定義されたメタパスを必要とする。
textsfLAMPは様々なメタパスのサブグラフを統一的で安定した構造に統合する。
textsfLAMPは、精度と堅牢性の観点から、既存の最先端の教師なしモデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2024-09-10T08:27:39Z) - M2HGCL: Multi-Scale Meta-Path Integrated Heterogeneous Graph Contrastive
Learning [16.391439666603578]
マルチスケールなメタパス統合ヘテロジニアスグラフコントラスト学習(M2HGCL)モデルを提案する。
具体的には、メタパスを拡大し、直接的な隣接情報、初期メタパス隣情報、拡張されたメタパス隣情報とを共同で集約する。
3つの実世界のデータセットに関する広範な実験を通して、M2HGCLが現在の最先端のベースラインモデルより優れていることを示す。
論文 参考訳(メタデータ) (2023-09-03T06:39:56Z) - Epistemic Graph: A Plug-And-Play Module For Hybrid Representation
Learning [46.48026220464475]
人間はハイブリッド学習を示し、クロスドメイン認識のための構造化された知識をシームレスに統合したり、少量の学習のために少量のデータサンプルに依存する。
本稿では, 深部特徴と構造化知識グラフ間の情報交換を促進し, ハイブリッド学習を実現するための新しいエピステミックグラフ層(EGLayer)を提案する。
論文 参考訳(メタデータ) (2023-05-30T04:10:15Z) - Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。
グラフが現在の勾配を混合する能力を定量化する計量法を提案する。
そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文 参考訳(メタデータ) (2022-04-13T15:54:35Z) - Meta Propagation Networks for Graph Few-shot Semi-supervised Learning [39.96930762034581]
本稿では,この問題を解決するために,メタ学習アルゴリズムを用いた新しいネットワークアーキテクチャを提案する。
基本的に,我々のMeta-PNフレームワークは,メタ学習ラベルの伝搬戦略を用いて,未ラベルノード上の高品質な擬似ラベルを推論する。
我々のアプローチは、様々なベンチマークデータセットの既存の技術と比較して、容易で実質的なパフォーマンス向上を提供する。
論文 参考訳(メタデータ) (2021-12-18T00:11:56Z) - Weakly-supervised Graph Meta-learning for Few-shot Node Classification [53.36828125138149]
新しいグラフメタ学習フレームワーク - Graph Hallucination Networks (Meta-GHN) を提案する。
新たなロバストネス強化エピソードトレーニングに基づいて、Meta-GHNは、弱いラベル付きデータからクリーンノード表現を幻覚させるメタ学習を行う。
大規模な実験は、既存のグラフメタ学習研究よりもMeta-GHNの方が優れていることを示す。
論文 参考訳(メタデータ) (2021-06-12T22:22:10Z) - Structure-Enhanced Meta-Learning For Few-Shot Graph Classification [53.54066611743269]
本研究では,数点グラフ分類の解法のためのメトリベースメタラーニングの可能性を検討する。
SMFGINというGINの実装は、ChemblとTRIANGLESの2つのデータセットでテストされている。
論文 参考訳(メタデータ) (2021-03-05T09:03:03Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。