論文の概要: A Simple Yet Effective Pretraining Strategy for Graph Few-shot Learning

• arxiv url: http://arxiv.org/abs/2203.15936v1
• Date: Tue, 29 Mar 2022 22:30:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 15:38:55.587037
• Title: A Simple Yet Effective Pretraining Strategy for Graph Few-shot Learning
• Title（参考訳）: グラフマイズショット学習のための単純かつ効果的な事前学習戦略
• Authors: Zhen Tan, Kaize Ding, Ruocheng Guo and Huan Liu
• Abstract要約: 本稿では,グラフ数ショット学習のための新しいパラダイムとして,シンプルなトランスダクティブな微調整型フレームワークを提案する。 事前学習のために,数発のノード分類に特有なデータ拡張戦略を持つ教師付きコントラスト学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 38.66690010054665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, increasing attention has been devoted to the graph few-shot learning problem, where the target novel classes only contain a few labeled nodes. Among many existing endeavors, episodic meta-learning has become the most prevailing paradigm, and its episodic emulation of the test environment is believed to equip the graph neural network models with adaptability to novel node classes. However, in the image domain, recent results have shown that feature reuse is more likely to be the key of meta-learning to few-shot extrapolation. Based on such observation, in this work, we propose a simple transductive fine-tuning based framework as a new paradigm for graph few-shot learning. In the proposed paradigm, a graph encoder backbone is pretrained with base classes, and a simple linear classifier is fine-tuned by the few labeled samples and is tasked to classify the unlabeled ones. For pretraining, we propose a supervised contrastive learning framework with data augmentation strategies specific for few-shot node classification to improve the extrapolation of a GNN encoder. Finally, extensive experiments conducted on three benchmark datasets demonstrate the superior advantage of our framework over the state-of-the-art methods.
• Abstract（参考訳）: 近年、グラフのマイノリティ学習問題に注目が集まっており、ターゲットとなる新規クラスは数個のラベル付きノードしか含んでいない。 既存の多くの取り組みの中で、エピソジックメタラーニングが最も普及しているパラダイムとなり、テスト環境のエピソジックエミュレーションはグラフニューラルネットワークモデルに新しいノードクラスへの適応性を提供すると考えられている。 しかし、画像領域では、最近の研究結果から、機能の再利用がメタラーニングの鍵となる可能性が示唆されている。 そこで本研究では,グラフによる数ショット学習のための新しいパラダイムとして,単純な微調整フレームワークを提案する。 提案するパラダイムでは,グラフエンコーダのバックボーンをベースクラスで事前訓練し,単純な線形分類器を少数のラベル付きサンプルで微調整し,ラベル付きでないものを分類する。 事前学習のために,GNNエンコーダの補間を改善するために,少数ショットノード分類に特有のデータ拡張戦略を備えた教師付きコントラスト学習フレームワークを提案する。 最後に、3つのベンチマークデータセットで実施された広範な実験は、最先端の手法よりもフレームワークの優位性を実証している。

関連論文リスト

• Graph Mining under Data scarcity [6.229055041065048]
  汎用グラフニューラルネットワーク(GNN)上に適用可能な不確実性推定フレームワークを提案する。 エンド・ツー・エンドの設定で、$n$-way、$k$-shotという古典的なエピソード学習パラダイムの下でこれらのモデルをトレーニングします。 提案手法は,GNNを用いたグラフ上のFew-shotノード分類における不確実性推定器の有効性を示すベースラインよりも優れる。
  論文  参考訳（メタデータ） (2024-06-07T10:50:03Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Inductive Linear Probing for Few-shot Node Classification [23.137926097692844]
  我々は、帰納的な数発のノード分類設定において、現在のフレームワークの限界を強調するための実証的研究を行う。 本稿では,帰納的ノード分類タスクに特化して,シンプルながら競争力のあるベースラインアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-14T01:33:06Z)
• Transductive Linear Probing: A Novel Framework for Few-Shot Node Classification [56.17097897754628]
  自己教師付きグラフと対照的な事前学習による帰納的線形探索は、同じプロトコル下での最先端の完全教師付きメタラーニング手法より優れていることを示す。 この研究が、数ショットのノード分類問題に新たな光を当て、グラフ上のわずかにラベル付けされたインスタンスから学ぶことの今後の研究を促進することを願っている。
  論文  参考訳（メタデータ） (2022-12-11T21:10:34Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
  本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。 数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。 そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
  論文  参考訳（メタデータ） (2022-01-07T02:46:35Z)
• Weakly-supervised Graph Meta-learning for Few-shot Node Classification [53.36828125138149]
  新しいグラフメタ学習フレームワーク - Graph Hallucination Networks (Meta-GHN) を提案する。 新たなロバストネス強化エピソードトレーニングに基づいて、Meta-GHNは、弱いラベル付きデータからクリーンノード表現を幻覚させるメタ学習を行う。 大規模な実験は、既存のグラフメタ学習研究よりもMeta-GHNの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-12T22:22:10Z)
• Looking back to lower-level information in few-shot learning [4.873362301533825]
  本稿では,隠れたニューラルネットワーク層の特徴埋め込みを低レベル支援情報として活用し,分類精度を向上させることを提案する。 筆者らは,MiniImageNet と tieredImageNet という2つの人気の数点学習データセットを用いた実験を行い,この手法がネットワークの低レベル情報を利用して最先端の分類性能を向上できることを示した。
  論文  参考訳（メタデータ） (2020-05-27T20:32:13Z)
• Adaptive-Step Graph Meta-Learner for Few-Shot Graph Classification [25.883839335786025]
  本稿では,グラフデータへの高速適応にGNNをベースとしたグラフメタラーナを用いた新しいフレームワークを提案する。 我々のフレームワークは、ベースラインと比較して、いくつかのショットグラフ分類タスクに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-03-18T14:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。