論文の概要: Graph Few-shot Class-incremental Learning
- arxiv url: http://arxiv.org/abs/2112.12819v1
- Date: Thu, 23 Dec 2021 19:46:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 16:32:11.522441
- Title: Graph Few-shot Class-incremental Learning
- Title(参考訳): グラフによるクラスインクリメンタル学習
- Authors: Zhen Tan, Kaize Ding, Ruocheng Guo, Huan Liu
- Abstract要約: 新しいクラスを段階的に学習する能力は、すべての現実世界の人工知能システムにとって不可欠である。
本稿では,グラフFCL(Graph Few-shot Class-incremental)問題について検討する。
基本クラスから繰り返しタスクをサンプリングすることでグラフ擬似インクリメンタルラーニングパラダイムを提案する。
本稿では,タスクレベルの注意とノードクラスのプロトタイプから計算したタスク依存型正規化器について述べる。
- 参考スコア(独自算出の注目度): 25.94168397283495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to incrementally learn new classes is vital to all real-world
artificial intelligence systems. A large portion of high-impact applications
like social media, recommendation systems, E-commerce platforms, etc. can be
represented by graph models. In this paper, we investigate the challenging yet
practical problem, Graph Few-shot Class-incremental (Graph FCL) problem, where
the graph model is tasked to classify both newly encountered classes and
previously learned classes. Towards that purpose, we put forward a Graph Pseudo
Incremental Learning paradigm by sampling tasks recurrently from the base
classes, so as to produce an arbitrary number of training episodes for our
model to practice the incremental learning skill. Furthermore, we design a
Hierarchical-Attention-based Graph Meta-learning framework, HAG-Meta. We
present a task-sensitive regularizer calculated from task-level attention and
node class prototypes to mitigate overfitting onto either novel or base
classes. To employ the topological knowledge, we add a node-level attention
module to adjust the prototype representation. Our model not only achieves
greater stability of old knowledge consolidation, but also acquires
advantageous adaptability to new knowledge with very limited data samples.
Extensive experiments on three real-world datasets, including Amazon-clothing,
Reddit, and DBLP, show that our framework demonstrates remarkable advantages in
comparison with the baseline and other related state-of-the-art methods.
- Abstract(参考訳): 新しいクラスを段階的に学ぶ能力は、現実世界のすべての人工知能システムにとって不可欠である。
ソーシャルメディアやレコメンデーションシステム、eコマースプラットフォームなど、影響力の高いアプリケーションの大部分は、グラフモデルで表現することができる。
本稿では,グラフモデルが新たに遭遇したクラスと事前学習したクラスの両方を分類する課題であるgraph few-shot class-incremental(graph fcl)問題について検討する。
その目的に向けて,基本クラスから反復的にタスクをサンプリングしてグラフ擬似インクリメンタル学習パラダイムを展開し,インクリメンタル学習スキルを実践するために,モデルに対して任意の数のトレーニングエピソードを生成する。
さらに,階層的アテンションに基づくグラフメタラーニングフレームワークhag-metaを設計する。
本稿では,タスクレベルの注意とノードクラスのプロトタイプから計算したタスクに敏感な正規化器を提案する。
トポロジカルな知識を活用するために,プロトタイプ表現を調整するノードレベルのアテンションモジュールを追加する。
我々のモデルは, 従来の知識統合の安定性を向上するだけでなく, 極めて限られたデータサンプルを用いて, 新たな知識に有利な適応性を得る。
amazon-clothing、reddit、dblpを含む3つの実世界のデータセットに関する広範な実験では、ベースラインや他の関連する最先端のメソッドと比較して、我々のフレームワークが顕著な利点を示している。
関連論文リスト
- RAHNet: Retrieval Augmented Hybrid Network for Long-tailed Graph
Classification [10.806893809269074]
本稿では,ロバストな特徴抽出器と非バイアスな分類器を共同で学習するRAHNet(Retrieval Augmented Hybrid Network)を提案する。
特徴抽出学習の段階において,各クラスにおけるクラス内多様性を直接強化する関係グラフを探索するグラフ検索モジュールを開発する。
また、分類表現を得るために、カテゴリー中心の教師付きコントラスト損失を革新的に最適化する。
論文 参考訳(メタデータ) (2023-08-04T14:06:44Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - A Simple Yet Effective Pretraining Strategy for Graph Few-shot Learning [38.66690010054665]
本稿では,グラフ数ショット学習のための新しいパラダイムとして,シンプルなトランスダクティブな微調整型フレームワークを提案する。
事前学習のために,数発のノード分類に特有なデータ拡張戦略を持つ教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-29T22:30:00Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳(メタデータ) (2022-01-17T11:57:29Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Weakly-supervised Graph Meta-learning for Few-shot Node Classification [53.36828125138149]
新しいグラフメタ学習フレームワーク - Graph Hallucination Networks (Meta-GHN) を提案する。
新たなロバストネス強化エピソードトレーニングに基づいて、Meta-GHNは、弱いラベル付きデータからクリーンノード表現を幻覚させるメタ学習を行う。
大規模な実験は、既存のグラフメタ学習研究よりもMeta-GHNの方が優れていることを示す。
論文 参考訳(メタデータ) (2021-06-12T22:22:10Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳(メタデータ) (2021-04-07T10:54:51Z) - Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
グラフ組み込み数ショット学習に関する包括的な研究を紹介します。
本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。
提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
論文 参考訳(メタデータ) (2021-02-14T05:28:13Z) - Looking back to lower-level information in few-shot learning [4.873362301533825]
本稿では,隠れたニューラルネットワーク層の特徴埋め込みを低レベル支援情報として活用し,分類精度を向上させることを提案する。
筆者らは,MiniImageNet と tieredImageNet という2つの人気の数点学習データセットを用いた実験を行い,この手法がネットワークの低レベル情報を利用して最先端の分類性能を向上できることを示した。
論文 参考訳(メタデータ) (2020-05-27T20:32:13Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。