論文の概要: Hierarchical Prototype Networks for Continual Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2111.15422v1
• Date: Tue, 30 Nov 2021 14:15:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 15:53:09.621219
• Title: Hierarchical Prototype Networks for Continual Graph Representation Learning
• Title（参考訳）: 連続グラフ表現学習のための階層型プロトタイプネットワーク
• Authors: Xikun Zhang, Dongjin Song, Dacheng Tao
• Abstract要約: 本稿では,連続的に拡張されたグラフを表現するために,プロトタイプの形式で抽象的な知識のレベルを抽出する階層型プロトタイプネットワーク(HPN)を提案する。 我々はHPNが最先端のベースライン技術を上回るだけでなく、メモリ消費も比較的少ないことを示した。
• 参考スコア（独自算出の注目度）: 90.78466005753505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant advances in graph representation learning, little attention has been paid to the more practical continual learning scenario in which new categories of nodes (e.g., new research areas in citation networks, or new types of products in co-purchasing networks) and their associated edges are continuously emerging, causing catastrophic forgetting on previous categories. Existing methods either ignore the rich topological information or sacrifice plasticity for stability. To this end, we present Hierarchical Prototype Networks (HPNs) which extract different levels of abstract knowledge in the form of prototypes to represent the continuously expanded graphs. Specifically, we first leverage a set of Atomic Feature Extractors (AFEs) to encode both the elemental attribute information and the topological structure of the target node. Next, we develop HPNs to adaptively select relevant AFEs and represent each node with three levels of prototypes. In this way, whenever a new category of nodes is given, only the relevant AFEs and prototypes at each level will be activated and refined, while others remain uninterrupted to maintain the performance over existing nodes. Theoretically, we first demonstrate that the memory consumption of HPNs is bounded regardless of how many tasks are encountered. Then, we prove that under mild constraints, learning new tasks will not alter the prototypes matched to previous data, thereby eliminating the forgetting problem. The theoretical results are supported by experiments on five datasets, showing that HPNs not only outperform state-of-the-art baseline techniques but also consume relatively less memory.
• Abstract（参考訳）: グラフ表現学習の大幅な進歩にもかかわらず、ノードの新たなカテゴリ(引用ネットワークの新しい研究領域、あるいは共同購入ネットワークの新しいタイプの製品)とその関連エッジが継続的に出現し、それまでのカテゴリを壊滅的に忘れてしまうような、より実践的な継続的学習シナリオにはほとんど注意が払われていない。 既存の方法は、豊かなトポロジー情報を無視するか、安定性のために可塑性を犠牲にする。 この目的のために, 連続的に拡張されたグラフを表現するために, プロトタイプの形で抽象知識のレベルが異なる階層型プロトタイプネットワーク(HPN)を提案する。 具体的には,まず,要素属性情報と対象ノードの位相構造の両方をエンコードするアトミック特徴抽出器(afes)のセットを利用する。 次に,関連するAFEを適応的に選択し,各ノードを3段階のプロトタイプで表現するHPNを開発する。 このように、ノードの新たなカテゴリが与えられると、各レベルの関連するafeとプロトタイプのみが起動され、洗練され、他のノードは既存のノードのパフォーマンスを維持するために中断されない。 理論的には、HPNのメモリ消費は、どれだけのタスクに遭遇したかに関わらず制限される。 そして,軽度の制約下では,新しいタスクを学習しても,前のデータと一致したプロトタイプは変更されず,忘れる問題は解消される。 理論的な結果は5つのデータセットの実験によって支持され、HPNは最先端のベースライン技術を上回るだけでなく、メモリ消費も比較的少ないことを示している。

関連論文リスト

• Inductive Graph Few-shot Class Incremental Learning [34.19083477893245]
  本稿では,新しいノードを持つ新しいクラスを継続的に学習するインダクティブGFSCILを提案する。 トランスダクティブGFSCILと比較して、インダクティブ設定は、アクセス不能な先行データにより破滅的忘れを悪化させる。 そこで我々はTopology-based class Augmentation and Prototype calibrationと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T00:06:20Z)
• Label Informed Contrastive Pretraining for Node Importance Estimation on Knowledge Graphs [29.928289032750634]
  NIE問題にラベルインフォームド・コントラアッティブ・プレトレーニング(licAP)を導入する。 licAPは、連続ラベルを完全に活用することを目的とした、新しいタイプのコントラスト学習フレームワークである。 licAP事前訓練された埋め込みは、既存のNIEメソッドのパフォーマンスをさらに向上させる。
  論文  参考訳（メタデータ） (2024-02-26T12:28:51Z)
• KMF: Knowledge-Aware Multi-Faceted Representation Learning for Zero-Shot Node Classification [75.95647590619929]
  Zero-Shot Node Classification (ZNC)は、グラフデータ分析において、新しく重要なタスクである。 ラベルセマンティクスの豊かさを向上する知識認識型多面的フレームワーク(KMF)を提案する。 ノード情報集約によるプロトタイプドリフトの問題を軽減するために,新しい幾何学的制約を開発した。
  論文  参考訳（メタデータ） (2023-08-15T02:38:08Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Graph Few-shot Class-incremental Learning [25.94168397283495]
  新しいクラスを段階的に学習する能力は、すべての現実世界の人工知能システムにとって不可欠である。 本稿では,グラフFCL(Graph Few-shot Class-incremental)問題について検討する。 基本クラスから繰り返しタスクをサンプリングすることでグラフ擬似インクリメンタルラーニングパラダイムを提案する。 本稿では,タスクレベルの注意とノードクラスのプロトタイプから計算したタスク依存型正規化器について述べる。
  論文  参考訳（メタデータ） (2021-12-23T19:46:07Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Data Augmentation for Graph Convolutional Network on Semi-Supervised Classification [6.619370466850894]
  グラフ畳み込みネットワーク(GCN)におけるグラフデータ拡張の問題について検討する。 具体的には、元の特徴に基づいてコサイン類似性に基づくクロスオペレーションを行い、新しいノード属性を含む新しいグラフ機能を作成する。 また,これらのGCNによって符号化された隠れノード埋め込みを最終ノード埋め込みに重み付けした注意統合モデルを提案する。
  論文  参考訳（メタデータ） (2021-06-16T15:13:51Z)
• CatGCN: Graph Convolutional Networks with Categorical Node Features [99.555850712725]
  CatGCNはグラフ学習に適したノード機能である。 エンドツーエンドでCatGCNを訓練し、半教師付きノード分類でそれを実証する。
  論文  参考訳（メタデータ） (2020-09-11T09:25:17Z)
• Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
  グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。 GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
  論文  参考訳（メタデータ） (2020-06-23T04:13:23Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。