論文の概要: Towards Heterogeneous Continual Graph Learning via Meta-knowledge Distillation

• arxiv url: http://arxiv.org/abs/2505.17458v1
• Date: Fri, 23 May 2025 04:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.81211
• Title: Towards Heterogeneous Continual Graph Learning via Meta-knowledge Distillation
• Title（参考訳）: メタ知識蒸留による不均一連続グラフ学習に向けて
• Authors: Guiquan Sun, Xikun Zhang, Jingchao Ni, Dongjin Song,
• Abstract要約: メタラーニングに基づく知識蒸留フレームワーク(MKD)の導入による異種グラフの連続学習の課題に対処する。 MKDは、限られたサンプルのメタラーニングと知識蒸留を組み合わせることで、新しい情報の導入と既存の知識の維持の最適なバランスを実現する。 3つのベンチマークデータセットの総合的な評価は、不均一グラフの拡張における連続学習シナリオの処理におけるMKDの有効性を検証する。
• 参考スコア（独自算出の注目度）: 21.129688460913485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning on heterogeneous graphs has experienced rapid advancement in recent years, driven by the inherently heterogeneous nature of real-world data. However, existing studies typically assume the graphs to be static, while real-world graphs are continuously expanding. This dynamic nature requires models to adapt to new data while preserving existing knowledge. To this end, this work addresses the challenge of continual learning on heterogeneous graphs by introducing the Meta-learning based Knowledge Distillation framework (MKD), designed to mitigate catastrophic forgetting in evolving heterogeneous graph structures. MKD combines rapid task adaptation through meta-learning on limited samples with knowledge distillation to achieve an optimal balance between incorporating new information and maintaining existing knowledge. To improve the efficiency and effectiveness of sample selection, MKD incorporates a novel sampling strategy that selects a small number of target-type nodes based on node diversity and maintains fixed-size buffers for other types. The strategy retrieves first-order neighbors along metapaths and selects important neighbors based on their structural relevance, enabling the sampled subgraphs to retain key topological and semantic information. In addition, MKD introduces a semantic-level distillation module that aligns the attention distributions over different metapaths between teacher and student models, encouraging semantic consistency beyond the logit level. Comprehensive evaluations across three benchmark datasets validate MKD's effectiveness in handling continual learning scenarios on expanding heterogeneous graphs.
• Abstract（参考訳）: ヘテロジニアスグラフ上の機械学習は、現実のデータの本質的に異質な性質によって、近年急速に進歩してきた。 しかし、既存の研究は通常、グラフは静的であると仮定する一方、現実世界のグラフは継続的に拡大している。 このダイナミックな性質は、既存の知識を維持しながら、新しいデータに適応するモデルを必要とする。 この目的のために、メタラーニングに基づく知識蒸留フレームワーク(MKD)を導入することで、異種グラフの連続的な学習の課題に対処する。 MKDは、限られたサンプルのメタラーニングと知識蒸留を組み合わせることで、新しい情報の導入と既存の知識の維持の最適なバランスを実現する。 サンプル選択の効率性と有効性を改善するため、MKDはノードの多様性に基づいて少数のターゲット型ノードを選択し、他のタイプの固定サイズのバッファを維持する新しいサンプリング戦略を取り入れている。 この戦略は、メタパスに沿って一階の隣人を検索し、その構造的関連性に基づいて重要な隣人を選択し、サンプルされたサブグラフが重要なトポロジとセマンティック情報を保持できるようにする。 さらに、MKDは、教師と学生のモデル間の異なるメタパスに対する注意分布を整列させる意味レベルの蒸留モジュールを導入し、ロジットレベルを超えてセマンティックな一貫性を奨励する。 3つのベンチマークデータセットの総合的な評価は、不均一グラフの拡張における連続学習シナリオの処理におけるMKDの有効性を検証する。

関連論文リスト

• Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks [61.608453110751206]
  本稿では,グラフニューラルネットワークのための高速かつ高品質なデータフリー知識蒸留手法を提案する。 グラフフリーKD法(ACGKD)は擬似グラフの空間的複雑さを著しく低減する。 ACGKDは、生徒の次元を拡大することで、生徒と教師のモデル間の次元のあいまいさを取り除く。
  論文  参考訳（メタデータ） (2025-04-01T08:44:27Z)
• A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation [59.14165404728197]
  我々は,分散シフト下での深層グラフ学習について,最新かつ先見的なレビューを行う。 具体的には,グラフ OOD 一般化,トレーニング時グラフ OOD 適応,テスト時グラフ OOD 適応の3つのシナリオについて述べる。 文献をよりよく理解するために,既存の手法をモデル中心およびデータ中心のアプローチに分類する系統分類を導入した。
  論文  参考訳（メタデータ） (2024-10-25T02:39:56Z)
• LAMP: Learnable Meta-Path Guided Adversarial Contrastive Learning for Heterogeneous Graphs [22.322402072526927]
  Heterogeneous Graph Contrastive Learning (HGCL)は通常、事前に定義されたメタパスを必要とする。 textsfLAMPは様々なメタパスのサブグラフを統一的で安定した構造に統合する。 textsfLAMPは、精度と堅牢性の観点から、既存の最先端の教師なしモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-09-10T08:27:39Z)
• Epistemic Graph: A Plug-And-Play Module For Hybrid Representation Learning [46.48026220464475]
  人間はハイブリッド学習を示し、クロスドメイン認識のための構造化された知識をシームレスに統合したり、少量の学習のために少量のデータサンプルに依存する。 本稿では, 深部特徴と構造化知識グラフ間の情報交換を促進し, ハイブリッド学習を実現するための新しいエピステミックグラフ層(EGLayer)を提案する。
  論文  参考訳（メタデータ） (2023-05-30T04:10:15Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Weakly-supervised Graph Meta-learning for Few-shot Node Classification [53.36828125138149]
  新しいグラフメタ学習フレームワーク - Graph Hallucination Networks (Meta-GHN) を提案する。 新たなロバストネス強化エピソードトレーニングに基づいて、Meta-GHNは、弱いラベル付きデータからクリーンノード表現を幻覚させるメタ学習を行う。 大規模な実験は、既存のグラフメタ学習研究よりもMeta-GHNの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-12T22:22:10Z)
• Structure-Enhanced Meta-Learning For Few-Shot Graph Classification [53.54066611743269]
  本研究では,数点グラフ分類の解法のためのメトリベースメタラーニングの可能性を検討する。 SMFGINというGINの実装は、ChemblとTRIANGLESの2つのデータセットでテストされている。
  論文  参考訳（メタデータ） (2021-03-05T09:03:03Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。