論文の概要: Graph Few-shot Class-incremental Learning
- arxiv url: http://arxiv.org/abs/2112.12819v1
- Date: Thu, 23 Dec 2021 19:46:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 16:32:11.522441
- Title: Graph Few-shot Class-incremental Learning
- Title(参考訳): グラフによるクラスインクリメンタル学習
- Authors: Zhen Tan, Kaize Ding, Ruocheng Guo, Huan Liu
- Abstract要約: 新しいクラスを段階的に学習する能力は、すべての現実世界の人工知能システムにとって不可欠である。
本稿では,グラフFCL(Graph Few-shot Class-incremental)問題について検討する。
基本クラスから繰り返しタスクをサンプリングすることでグラフ擬似インクリメンタルラーニングパラダイムを提案する。
本稿では,タスクレベルの注意とノードクラスのプロトタイプから計算したタスク依存型正規化器について述べる。
- 参考スコア(独自算出の注目度): 25.94168397283495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to incrementally learn new classes is vital to all real-world
artificial intelligence systems. A large portion of high-impact applications
like social media, recommendation systems, E-commerce platforms, etc. can be
represented by graph models. In this paper, we investigate the challenging yet
practical problem, Graph Few-shot Class-incremental (Graph FCL) problem, where
the graph model is tasked to classify both newly encountered classes and
previously learned classes. Towards that purpose, we put forward a Graph Pseudo
Incremental Learning paradigm by sampling tasks recurrently from the base
classes, so as to produce an arbitrary number of training episodes for our
model to practice the incremental learning skill. Furthermore, we design a
Hierarchical-Attention-based Graph Meta-learning framework, HAG-Meta. We
present a task-sensitive regularizer calculated from task-level attention and
node class prototypes to mitigate overfitting onto either novel or base
classes. To employ the topological knowledge, we add a node-level attention
module to adjust the prototype representation. Our model not only achieves
greater stability of old knowledge consolidation, but also acquires
advantageous adaptability to new knowledge with very limited data samples.
Extensive experiments on three real-world datasets, including Amazon-clothing,
Reddit, and DBLP, show that our framework demonstrates remarkable advantages in
comparison with the baseline and other related state-of-the-art methods.
- Abstract(参考訳): 新しいクラスを段階的に学ぶ能力は、現実世界のすべての人工知能システムにとって不可欠である。
ソーシャルメディアやレコメンデーションシステム、eコマースプラットフォームなど、影響力の高いアプリケーションの大部分は、グラフモデルで表現することができる。
本稿では,グラフモデルが新たに遭遇したクラスと事前学習したクラスの両方を分類する課題であるgraph few-shot class-incremental(graph fcl)問題について検討する。
その目的に向けて,基本クラスから反復的にタスクをサンプリングしてグラフ擬似インクリメンタル学習パラダイムを展開し,インクリメンタル学習スキルを実践するために,モデルに対して任意の数のトレーニングエピソードを生成する。
さらに,階層的アテンションに基づくグラフメタラーニングフレームワークhag-metaを設計する。
本稿では,タスクレベルの注意とノードクラスのプロトタイプから計算したタスクに敏感な正規化器を提案する。
トポロジカルな知識を活用するために,プロトタイプ表現を調整するノードレベルのアテンションモジュールを追加する。
我々のモデルは, 従来の知識統合の安定性を向上するだけでなく, 極めて限られたデータサンプルを用いて, 新たな知識に有利な適応性を得る。
amazon-clothing、reddit、dblpを含む3つの実世界のデータセットに関する広範な実験では、ベースラインや他の関連する最先端のメソッドと比較して、我々のフレームワークが顕著な利点を示している。
関連論文リスト
- GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs [27.169892145194638]
GraphCLIPは、強力なクロスドメインゼロ/フェーショット転送可能性を持つグラフ基盤モデルを学習するためのフレームワークである。
LLMの助けを借りて、大規模グラフ-土木ペアデータを生成し、キュレートする。
数ショットの学習では,事前学習目標に沿った新しいグラフプロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2024-10-14T09:40:52Z) - How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。
我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。
私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
論文 参考訳(メタデータ) (2024-10-04T04:48:33Z) - Language Models are Graph Learners [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。
本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文 参考訳(メタデータ) (2024-10-03T08:27:54Z) - Graph Memory Learning: Imitating Lifelong Remembering and Forgetting of Brain Networks [31.554027786868815]
本稿では,BGML(Brain-inspired Graph Memory Learning)というグラフメモリ学習の新たな概念を紹介する。
BGMLは、記憶と忘れの潜在的な衝突を軽減するために、特徴グラフの粒度学習に根ざした多階層的階層的漸進学習機構を組み込んでいる。
さらに,新たに追加されるインクリメンタル情報における信頼できない構造の問題に対処するために,情報自己評価のオーナシップ機構を提案する。
論文 参考訳(メタデータ) (2024-07-27T05:50:54Z) - RAHNet: Retrieval Augmented Hybrid Network for Long-tailed Graph
Classification [10.806893809269074]
本稿では,ロバストな特徴抽出器と非バイアスな分類器を共同で学習するRAHNet(Retrieval Augmented Hybrid Network)を提案する。
特徴抽出学習の段階において,各クラスにおけるクラス内多様性を直接強化する関係グラフを探索するグラフ検索モジュールを開発する。
また、分類表現を得るために、カテゴリー中心の教師付きコントラスト損失を革新的に最適化する。
論文 参考訳(メタデータ) (2023-08-04T14:06:44Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳(メタデータ) (2021-04-07T10:54:51Z) - Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
グラフ組み込み数ショット学習に関する包括的な研究を紹介します。
本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。
提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
論文 参考訳(メタデータ) (2021-02-14T05:28:13Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。