論文の概要: Inductive Graph Few-shot Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2411.06634v1
• Date: Mon, 11 Nov 2024 00:06:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:08:31.218615
• Title: Inductive Graph Few-shot Class Incremental Learning
• Title（参考訳）: Inductive Graph Few-shot Class インクリメンタルラーニング
• Authors: Yayong Li, Peyman Moghadam, Can Peng, Nan Ye, Piotr Koniusz,
• Abstract要約: 本稿では,新しいノードを持つ新しいクラスを継続的に学習するインダクティブGFSCILを提案する。 トランスダクティブGFSCILと比較して、インダクティブ設定は、アクセス不能な先行データにより破滅的忘れを悪化させる。 そこで我々はTopology-based class Augmentation and Prototype calibrationと呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 34.19083477893245
• License:
• Abstract: Node classification with Graph Neural Networks (GNN) under a fixed set of labels is well known in contrast to Graph Few-Shot Class Incremental Learning (GFSCIL), which involves learning a GNN classifier as graph nodes and classes growing over time sporadically. We introduce inductive GFSCIL that continually learns novel classes with newly emerging nodes while maintaining performance on old classes without accessing previous data. This addresses the practical concern of transductive GFSCIL, which requires storing the entire graph with historical data. Compared to the transductive GFSCIL, the inductive setting exacerbates catastrophic forgetting due to inaccessible previous data during incremental training, in addition to overfitting issue caused by label sparsity. Thus, we propose a novel method, called Topology-based class Augmentation and Prototype calibration (TAP). To be specific, it first creates a triple-branch multi-topology class augmentation method to enhance model generalization ability. As each incremental session receives a disjoint subgraph with nodes of novel classes, the multi-topology class augmentation method helps replicate such a setting in the base session to boost backbone versatility. In incremental learning, given the limited number of novel class samples, we propose an iterative prototype calibration to improve the separation of class prototypes. Furthermore, as backbone fine-tuning poses the feature distribution drift, prototypes of old classes start failing over time, we propose the prototype shift method for old classes to compensate for the drift. We showcase the proposed method on four datasets.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)を用いたノード分類は、グラフFew-Shot Class Incremental Learning(GFSCIL)とは対照的によく知られている。 本稿では,新しいノードを持つ新しいクラスを継続的に学習し,従来のデータにアクセスすることなく,古いクラスのパフォーマンスを維持できるインダクティブGFSCILを提案する。 これは、過去のデータでグラフ全体を保存する必要があるGFSCILの実践的な懸念に対処する。 転帰性GFSCILと比較して、インクリメンタルトレーニング中にアクセス不能な過去のデータによる破滅的記憶が悪化し、ラベルの疎結合による過度な適合が問題となる。 そこで我々は,Topology-based class Augmentation and Prototype calibration (TAP) と呼ばれる新しい手法を提案する。 具体的には、モデル一般化能力を高めるために、まずトリプルブランチマルチトポロジークラス拡張法を作成する。 各インクリメンタルセッションは、新しいクラスのノードで分離されたサブグラフを受け取るので、マルチトポロジークラス拡張法は、ベースセッションにおけるそのような設定を複製してバックボーンの汎用性を高めるのに役立つ。 漸進学習では,新しいクラスサンプルの数が限られているため,クラスプロトタイプの分離を改善するための反復型プロトタイプ校正を提案する。 さらに,バックボーンの微調整によって特徴分布のドリフトが生じると,古いクラスのプロトタイプが時間の経過とともに失敗し始めるので,古いクラスがドリフトを補うためのプロトタイプシフト手法を提案する。 提案手法を4つのデータセットに示す。

関連論文リスト

• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Class Incremental Learning with Self-Supervised Pre-Training and Prototype Learning [21.901331484173944]
  授業の段階的学習における破滅的忘れの原因を分析した。 固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。 本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
  論文  参考訳（メタデータ） (2023-08-04T14:20:42Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Two-level Graph Network for Few-Shot Class-Incremental Learning [7.815043173207539]
  FSCIL(Few-shot class-incremental Learning)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムを設計することを目的としている。 既存のFSCILメソッドは、サンプルレベルとクラスレベルの意味関係を無視する。 本稿では,サンプルレベルとクラスレベルグラフニューラルネット(SCGN)というFSCIL用の2レベルグラフネットワークを設計した。
  論文  参考訳（メタデータ） (2023-03-24T08:58:08Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Transductive Linear Probing: A Novel Framework for Few-Shot Node Classification [56.17097897754628]
  自己教師付きグラフと対照的な事前学習による帰納的線形探索は、同じプロトコル下での最先端の完全教師付きメタラーニング手法より優れていることを示す。 この研究が、数ショットのノード分類問題に新たな光を当て、グラフ上のわずかにラベル付けされたインスタンスから学ぶことの今後の研究を促進することを願っている。
  論文  参考訳（メタデータ） (2022-12-11T21:10:34Z)
• Geometer: Graph Few-Shot Class-Incremental Learning via Prototype Representation [50.772432242082914]
  既存のグラフニューラルネットワークに基づく手法は主に、豊富なラベリングを持つ固定クラス内の未ラベルノードの分類に重点を置いている。 本稿では,この難易度で実用的なグラフ数ショットクラスインクリメンタルラーニング(GFSCIL)問題に着目し,Geometerと呼ばれる新しい手法を提案する。 完全に接続されたニューラルネットワークのクラスを置き換えて再トレーニングする代わりに、Geometerは、最も近いクラスのプロトタイプを見つけることによって、ノードのラベルを予測する。
  論文  参考訳（メタデータ） (2022-05-27T13:02:07Z)
• Hierarchical Prototype Networks for Continual Graph Representation Learning [90.78466005753505]
  本稿では,連続的に拡張されたグラフを表現するために,プロトタイプの形式で抽象的な知識のレベルを抽出する階層型プロトタイプネットワーク(HPN)を提案する。 我々はHPNが最先端のベースライン技術を上回るだけでなく、メモリ消費も比較的少ないことを示した。
  論文  参考訳（メタデータ） (2021-11-30T14:15:14Z)
• Class-incremental Learning with Pre-allocated Fixed Classifiers [20.74548175713497]
  クラス増分学習では、学習エージェントは、前のクラスを忘れずに新しいクラスを学ぶことを目標として、データのストリームに直面します。 本稿では,複数の事前配置された出力ノードが学習フェーズの開始時から,その分類損失に正しく対応できる新しい固定分類器を提案する。
  論文  参考訳（メタデータ） (2020-10-16T22:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。