論文の概要: Degree-based stratification of nodes in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2312.10458v1
• Date: Sat, 16 Dec 2023 14:09:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 16:32:55.285218
• Title: Degree-based stratification of nodes in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおけるノードの次数に基づく階層化
• Authors: Ameen Ali, Hakan Cevikalp, Lior Wolf
• Abstract要約: グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
• 参考スコア（独自算出の注目度）: 66.17149106033126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite much research, Graph Neural Networks (GNNs) still do not display the favorable scaling properties of other deep neural networks such as Convolutional Neural Networks and Transformers. Previous work has identified issues such as oversmoothing of the latent representation and have suggested solutions such as skip connections and sophisticated normalization schemes. Here, we propose a different approach that is based on a stratification of the graph nodes. We provide motivation that the nodes in a graph can be stratified into those with a low degree and those with a high degree and that the two groups are likely to behave differently. Based on this motivation, we modify the Graph Neural Network (GNN) architecture so that the weight matrices are learned, separately, for the nodes in each group. This simple-to-implement modification seems to improve performance across datasets and GNN methods. To verify that this increase in performance is not only due to the added capacity, we also perform the same modification for random splits of the nodes, which does not lead to any improvement.
• Abstract（参考訳）: 多くの研究にもかかわらず、グラフニューラルネットワーク(GNN)は、畳み込みニューラルネットワークやトランスフォーマーのような他のディープニューラルネットワークのスケーリング特性を好まない。 従来の研究は、潜在表現の過剰な平滑化などの問題を特定し、スキップ接続や洗練された正規化スキームのようなソリューションを提案してきた。 本稿では,グラフノードの階層化に基づく異なるアプローチを提案する。 グラフ内のノードは、低次ノードと高次ノードに階層化することができ、2つのグループが異なる振る舞いをする可能性が高いという動機を与える。 この動機に基づいて,各グループのノードに対して,重み行列を別々に学習できるように,グラフニューラルネットワーク(gnn)アーキテクチャを変更した。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。 この性能向上がキャパシティの増加によるものであることを確認するため、ノードのランダムな分割についても同じ修正を行い、改善にはつながりません。

関連論文リスト

• Transfer Entropy in Graph Convolutional Neural Networks [0.0]
  グラフ畳み込みネットワーク(Graph Convolutional Networks、GCN)は、グラフ上に畳み込みを適用するグラフニューラルネットワークである。 本研究は,GCNに関する2つの重要な課題に対処する。 オーバースムーシング(Oversmoothing)とは、繰り返しの集約の結果、ノードの識別能力が低下することである。 本稿では,2つの時間変化ノード間の情報転送量を測定するTransfer Entropy (TE) に基づくGCNにおけるこれらの課題に対処するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-08T20:09:17Z)
• Collaborative Graph Neural Networks for Attributed Network Embedding [63.39495932900291]
  グラフニューラルネットワーク(GNN)は、属性付きネットワーク埋め込みにおいて顕著な性能を示している。 本稿では,ネットワーク埋め込みに適したGNNアーキテクチャであるCulaborative graph Neural Networks-CONNを提案する。
  論文  参考訳（メタデータ） (2023-07-22T04:52:27Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• SEA: Graph Shell Attention in Graph Neural Networks [8.565134944225491]
  グラフニューラルネットワーク(GNN)の一般的な問題は、オーバー・スムーシング(over-smoothing)として知られている。 本研究では、ルーティングを実装することでGNNアーキテクチャを緩和し、特にノードの表現を専用の専門家にルーティングする。 この手順をグラフシェル注意(SEA)と呼び、専門家がトランスフォーマーを動機づけた方法で異なるサブグラフを処理する。
  論文  参考訳（メタデータ） (2021-10-20T17:32:08Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• Position-based Hash Embeddings For Scaling Graph Neural Networks [8.87527266373087]
  グラフニューラルネットワーク(GNN)は、ノードのエゴネットワークのトポロジとエゴネットワークのノードの特徴を考慮したノード表現を演算する。 ノードが高品質な機能を持っていない場合、GNNはノードの埋め込みを計算するために埋め込み層を学び、それらを入力機能として使用する。 この埋め込みレイヤに関連するメモリを削減するため、NLPやレコメンダシステムのようなアプリケーションで一般的に使用されるハッシュベースのアプローチが利用可能である。 本稿では,グラフ内のノードの位置を利用して,必要なメモリを大幅に削減する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-31T22:42:25Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
  グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。 これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
  論文  参考訳（メタデータ） (2020-08-04T18:57:36Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。