論文の概要: Leveraging Label Non-Uniformity for Node Classification in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2305.00139v1
• Date: Sat, 29 Apr 2023 01:09:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 16:47:55.381686
• Title: Leveraging Label Non-Uniformity for Node Classification in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおけるノード分類のためのラベル非均一性の活用
• Authors: Feng Ji and See Hian Lee and Hanyang Meng and Kai Zhao and Jielong Yang and Wee Peng Tay
• Abstract要約: グラフニューラルネットワーク(GNN)を用いたノード分類において、典型的なモデルは各ノードで異なるクラスラベルに対してロジットを生成する。 本稿では,ロジットのソフトマックス分布と均一分布との間のワッサーシュタイン距離から導かれるラベル非均一性の鍵となる概念を紹介する。 理論的には、ラベルの非均一性がグラフ全体でどのように変化するかを分析し、モデルの性能向上に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 33.84217145105558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In node classification using graph neural networks (GNNs), a typical model generates logits for different class labels at each node. A softmax layer often outputs a label prediction based on the largest logit. We demonstrate that it is possible to infer hidden graph structural information from the dataset using these logits. We introduce the key notion of label non-uniformity, which is derived from the Wasserstein distance between the softmax distribution of the logits and the uniform distribution. We demonstrate that nodes with small label non-uniformity are harder to classify correctly. We theoretically analyze how the label non-uniformity varies across the graph, which provides insights into boosting the model performance: increasing training samples with high non-uniformity or dropping edges to reduce the maximal cut size of the node set of small non-uniformity. These mechanisms can be easily added to a base GNN model. Experimental results demonstrate that our approach improves the performance of many benchmark base models.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)を用いたノード分類では、典型的なモデルは各ノードで異なるクラスラベルのログを生成する。 ソフトマックス層はしばしば最大のロジットに基づいてラベル予測を出力する。 これらのロジットを用いてデータセットから隠れたグラフ構造情報を推測できることを実証する。 本稿では,ロジットのソフトマックス分布と均一分布との間のワッサーシュタイン距離から導かれるラベル非均一性の鍵となる概念を紹介する。 ラベルの不均一性の低いノードを正しく分類することは困難である。 我々は,ラベルの非一様性がグラフ全体でどのように変化するのかを理論的に分析し,モデル性能の向上に関する洞察を与える: トレーニングサンプルを高一様性で増加させるか,あるいは、エッジを落として、小さな非一様性のノードセットの最大カットサイズを小さくする。 これらのメカニズムはベースGNNモデルに簡単に追加できる。 実験により,多くのベンチマークベースモデルの性能向上が示された。

関連論文リスト

• GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks [2.4175455407547015]
  グラフニューラルネットワークは、隣人からの情報を集約することでノードを表現することを学ぶ。 いくつかの既存手法では、ノードの小さなサブセットをサンプリングし、GNNをもっと大きなグラフにスケールすることで、この問題に対処している。 本稿では,GNNのトレーニングに不可欠なノードの集合を識別する適応サンプリング手法であるGRAPESを紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:08:47Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
  本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。 Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:27:18Z)
• Distributional Signals for Node Classification in Graph Neural Networks [36.30743671968087]
  グラフニューラルネットワーク(GNN)では、ノード特徴とラベルの両方がグラフ信号の例であり、グラフ信号処理(GSP)における鍵概念である。 本フレームワークでは,ノードラベルの分布をその値の代わりに扱うとともに,そのような分布グラフ信号の滑らかさと非均一性の概念を提案する。 次に,GNNの一般正規化手法を提案し,半教師付きノード分類タスクにおけるモデル出力の分布の滑らかさと非均一性をエンコードする。
  論文  参考訳（メタデータ） (2023-04-07T06:54:42Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Structure-Aware Label Smoothing for Graph Neural Networks [39.97741949184259]
  ラベル分布を1ホットベクトルとして表現することは、ノード分類モデルのトレーニングにおいて一般的な方法である。 本稿では,一般的なノード分類モデルに対する拡張成分として,新しいSALS(textitStructure-Aware Label Smoothing)法を提案する。
  論文  参考訳（メタデータ） (2021-12-01T13:48:58Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
  本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。 出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。 本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2021-07-27T19:47:53Z)
• GraphSMOTE: Imbalanced Node Classification on Graphs with Graph Neural Networks [28.92347073786722]
  グラフニューラルネットワーク(GNN)はノード分類の最先端性能を達成した。 本稿では,ノード間の類似性をエンコードするために埋め込み空間を構築する新しいフレームワークであるgraphsmoteを提案する。 この空間で新しいサンプルが合成され、真正性が保証される。
  論文  参考訳（メタデータ） (2021-03-16T03:23:55Z)
• Unifying Graph Convolutional Neural Networks and Label Propagation [73.82013612939507]
  LPAとGCNの関係を特徴・ラベルの平滑化と特徴・ラベルの影響の2点の観点から検討した。 理論解析に基づいて,ノード分類のためのGCNとLCAを統一するエンドツーエンドモデルを提案する。 我々のモデルは、既存の特徴に基づく注目モデルよりもタスク指向のノードラベルに基づく学習注意重みと見なすこともできる。
  論文  参考訳（メタデータ） (2020-02-17T03:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。