論文の概要: Scalable and Adaptive Graph Neural Networks with Self-Label-Enhanced training

• arxiv url: http://arxiv.org/abs/2104.09376v1
• Date: Mon, 19 Apr 2021 15:08:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:33:04.489342
• Title: Scalable and Adaptive Graph Neural Networks with Self-Label-Enhanced training
• Title（参考訳）: 自己ラベル強化トレーニングによるスケーラブルで適応的なグラフニューラルネットワーク
• Authors: Chuxiong Sun
• Abstract要約: 大規模グラフにグラフニューラルネットワーク(gnn)を直接実装することは困難である。 スケーラブルで適応的なグラフニューラルネットワーク(SAGN)を提案する。 自己学習アプローチとラベル伝播を深く結合したsle(self-label-enhance)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.2183405753834562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is hard to directly implement Graph Neural Networks (GNNs) on large scaled graphs. Besides of existed neighbor sampling techniques, scalable methods decoupling graph convolutions and other learnable transformations into preprocessing and post classifier allow normal minibatch training. By replacing redundant concatenation operation with attention mechanism in SIGN, we propose Scalable and Adaptive Graph Neural Networks (SAGN). SAGN can adaptively gather neighborhood information among different hops. To further improve scalable models on semi-supervised learning tasks, we propose Self-Label-Enhance (SLE) framework combining self-training approach and label propagation in depth. We add base model with a scalable node label module. Then we iteratively train models and enhance train set in several stages. To generate input of node label module, we directly apply label propagation based on one-hot encoded label vectors without inner random masking. We find out that empirically the label leakage has been effectively alleviated after graph convolutions. The hard pseudo labels in enhanced train set participate in label propagation with true labels. Experiments on both inductive and transductive datasets demonstrate that, compared with other sampling-based and sampling-free methods, SAGN achieves better or comparable results and SLE can further improve performance.
• Abstract（参考訳）: 大規模グラフにグラフニューラルネットワーク(gnn)を直接実装することは困難である。 既存の隣接サンプリング技術に加えて、グラフ畳み込みやその他の学習可能な変換を前処理に分離するスケーラブルな手法や、後分類器は通常のミニバッチトレーニングを可能にする。 SIGNにおける冗長結合操作を注意機構に置き換えることで、スケーラブルで適応的なグラフニューラルネットワーク(SAGN)を提案する。 SAGNは、異なるホップ間で近隣情報を適応的に収集することができる。 半教師付き学習タスクにおけるスケーラブルなモデルをさらに改善するために,自己学習アプローチとラベルの深度伝播を組み合わせたSLE(Self-Label-Enhance)フレームワークを提案する。 スケーラブルなノードラベルモジュールでベースモデルを追加します。 そして、反復的にモデルを訓練し、いくつかの段階で列車セットを強化します。 ノードラベルモジュールの入力を生成するために,内乱マスキングを伴わない1ホット符号化ラベルベクトルに基づいて直接ラベル伝搬を適用する。 グラフの畳み込みによりラベルの漏洩が効果的に緩和されたことを実証的に確認した。 強化列車の硬い擬似ラベルは、真のラベルによるラベル伝搬に関与する。 インダクティブデータセットとトランスダクティブデータセットの両方の実験では、他のサンプリングベースおよびサンプリングフリーメソッドと比較して、SAGNはより良い結果または同等の結果を得ることができ、SLEはパフォーマンスをさらに向上させることができる。

関連論文リスト

• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Label-Enhanced Graph Neural Network for Semi-supervised Node Classification [32.64730237473914]
  グラフニューラルネットワーク(GNN)のためのラベル強化学習フレームワークを提案する。 まず、各ラベルをクラス内のノードの仮想センターとしてモデル化し、次にノードとラベルの両方の表現を共同で学習する。 提案手法は,同一クラスに属するノードの表現を円滑に行うだけでなく,ラベルセマンティクスをGNNの学習プロセスに明示的にエンコードする。
  論文  参考訳（メタデータ） (2022-05-31T09:48:47Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Structure-Aware Label Smoothing for Graph Neural Networks [39.97741949184259]
  ラベル分布を1ホットベクトルとして表現することは、ノード分類モデルのトレーニングにおいて一般的な方法である。 本稿では,一般的なノード分類モデルに対する拡張成分として,新しいSALS(textitStructure-Aware Label Smoothing)法を提案する。
  論文  参考訳（メタデータ） (2021-12-01T13:48:58Z)
• Adaptive Label Smoothing To Regularize Large-Scale Graph Training [46.00927775402987]
  本研究では, 適応ラベル平滑化法 (ALS) を提案する。 ALSはノードラベルを伝播して、前処理ステップで近隣ラベルの分布を集約し、その後、最適なスムーズなラベルをオンラインで更新して、特定のグラフ構造に適合させる。
  論文  参考訳（メタデータ） (2021-08-30T23:51:31Z)
• One Thing One Click: A Self-Training Approach for Weakly Supervised 3D Semantic Segmentation [78.36781565047656]
  私たちは、アノテーションーがオブジェクトごとに1ポイントだけラベルを付ける必要があることを意味する「One Thing One Click」を提案します。 グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。 私たちの結果は、完全に監督されたものと同等です。
  論文  参考訳（メタデータ） (2021-04-06T02:27:25Z)
• Unified Robust Training for Graph NeuralNetworks against Label Noise [12.014301020294154]
  半監督設定でノイズの多いラベルをグラフ上で学習するための新しいフレームワークである UnionNET を提案します。 提案手法は,GNNを頑健に訓練し,ラベル修正を同時に行うための統一的なソリューションを提供する。
  論文  参考訳（メタデータ） (2021-03-05T01:17:04Z)
• On the Equivalence of Decoupled Graph Convolution Network and Label Propagation [60.34028546202372]
  いくつかの研究は、カップリングがデカップリングよりも劣っていることを示している。 有効性にもかかわらず、疎結合GCNの作用機構はよく理解されていない。 本稿では,分離GCNの欠陥を克服する適応的学習法(PTA)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T13:57:39Z)
• Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition [75.44233392355711]
  KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。 まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。 次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。 グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
  論文  参考訳（メタデータ） (2020-09-20T15:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。