論文の概要: Improving Graph Neural Networks on Multi-node Tasks with Labeling Tricks
- arxiv url: http://arxiv.org/abs/2304.10074v1
- Date: Thu, 20 Apr 2023 04:03:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 14:27:42.252925
- Title: Improving Graph Neural Networks on Multi-node Tasks with Labeling Tricks
- Title（参考訳）: ラベル付けによるマルチノードタスク上のグラフニューラルネットワークの改善
- Authors: Xiyuan Wang, Pan Li, Muhan Zhang
- Abstract要約: GNNを適用する前に、まず、ターゲットノードセットとの関係に応じてグラフ内のノードをラベル付けするテキストラベリング手法を提案する。
本研究は,従来のノードラベル方式の優れた性能を説明し,GNNをマルチノード表現学習に活用するための理論的基盤を確立する。
- 参考スコア（独自算出の注目度）: 14.41064333206723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we provide a theory of using graph neural networks (GNNs) for
\textit{multi-node representation learning}, where we are interested in
learning a representation for a set of more than one node such as a link.
Existing GNNs are mainly designed to learn single-node representations. When we
want to learn a node-set representation involving multiple nodes, a common
practice in previous works is to directly aggregate the single-node
representations obtained by a GNN. In this paper, we show a fundamental
limitation of such an approach, namely the inability to capture the dependence
among multiple nodes in a node set, and argue that directly aggregating
individual node representations fails to produce an effective joint
representation for multiple nodes. A straightforward solution is to distinguish
target nodes from others. Formalizing this idea, we propose \text{labeling
trick}, which first labels nodes in the graph according to their relationships
with the target node set before applying a GNN and then aggregates node
representations obtained in the labeled graph for multi-node representations.
The labeling trick also unifies a few previous successful works for multi-node
representation learning, including SEAL, Distance Encoding, ID-GNN, and NBFNet.
Besides node sets in graphs, we also extend labeling tricks to posets, subsets
and hypergraphs. Experiments verify that the labeling trick technique can boost
GNNs on various tasks, including undirected link prediction, directed link
prediction, hyperedge prediction, and subgraph prediction. Our work explains
the superior performance of previous node-labeling-based methods and
establishes a theoretical foundation for using GNNs for multi-node
representation learning.
- Abstract（参考訳）: 本稿では、グラフニューラルネットワーク(GNN)を用いて、リンクのような複数のノードの集合に対する表現を学習することに関心を持つ。
既存のGNNは主に単一ノード表現を学習するために設計されている。
複数のノードを含むノードセット表現を学習したい場合、GNNが取得した単一ノード表現を直接集約するのが従来の作業である。
本稿では,ノードセット内の複数のノード間の依存性をキャプチャできないという,そのようなアプローチの基本的な限界を示し,個々のノード表現を直接集約することは,複数のノードに対して効果的な結合表現を生み出すことができないと主張する。
簡単な解決策は、ターゲットノードを他のノードと区別することだ。
このアイデアを形式化し、GNNを適用する前に、まずターゲットノードセットとの関係に応じてグラフ内のノードをラベル付けし、マルチノード表現のためにラベル付きグラフで得られたノード表現を集約する「text{labeling trick}」を提案する。
ラベル付けのトリックは、SEAL、Distance Encoding、ID-GNN、NBFNetなど、従来のマルチノード表現学習の成功例を統一する。
グラフのノードセットに加えて、ポーズ、サブセット、ハイパーグラフのラベル付けトリックも拡張します。
ラベル付け手法は, リンク予測, リンク予測, リンク予測, ハイパーエッジ予測, サブグラフ予測など, 様々なタスクにおいて GNN を向上できることを示す。
本研究は,従来のノードラベル方式の優れた性能を説明し,GNNをマルチノード表現学習に活用するための理論的基盤を確立する。
関連論文リスト
- Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。
このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
論文 参考訳（メタデータ） (2023-12-16T14:09:23Z) - Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。
Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-05-18T07:27:18Z) - Position-based Hash Embeddings For Scaling Graph Neural Networks [8.87527266373087]
グラフニューラルネットワーク(GNN)は、ノードのエゴネットワークのトポロジとエゴネットワークのノードの特徴を考慮したノード表現を演算する。
ノードが高品質な機能を持っていない場合、GNNはノードの埋め込みを計算するために埋め込み層を学び、それらを入力機能として使用する。
この埋め込みレイヤに関連するメモリを削減するため、NLPやレコメンダシステムのようなアプリケーションで一般的に使用されるハッシュベースのアプローチが利用可能である。
本稿では,グラフ内のノードの位置を利用して,必要なメモリを大幅に削減する手法を提案する。
論文 参考訳（メタデータ） (2021-08-31T22:42:25Z) - Dynamic Labeling for Unlabeled Graph Neural Networks [34.65037955481084]
グラフニューラルネットワーク(GNN)はそのアイデンティティ、タイプ、コンテンツによってノードをベクトルとして表現するためにノードの埋め込みに依存している。
既存のGNNは、ランダムなラベルをノードに割り当てるか、1つの埋め込みをすべてのノードに割り当てる。
本稿では,グラフ分類とノード分類という2種類の分類タスクにおける既存手法の限界を解析する。
論文 参考訳（メタデータ） (2021-02-23T04:30:35Z) - Pair-view Unsupervised Graph Representation Learning [2.8650714782703366]
低次元グラフ埋め込みは、大きなグラフのさまざまな下流タスクで非常に有用であることが証明されています。
本稿では,グラフ埋め込みのコアとして "ノード" よりも高いレベルの単位である "ペア" を使用するソリューションである PairE を提案する。
実験の結果、PairEは4つの下流タスクのベースラインの状態を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2020-12-11T04:09:47Z) - Labeling Trick: A Theory of Using Graph Neural Networks for Multi-Node
Representation Learning [26.94699471990803]
マルチノード表現学習にグラフニューラルネットワーク(GNN)を用いる理論を提案する。
以前の研究では、GNNが獲得した単一ノード表現を直接結合ノードセット表現に集約することが一般的であった。
これらのノードラベリングテクニックを,単一かつ最も一般的な形式 – ラベル付けトリック – に統合します。
論文 参考訳（メタデータ） (2020-10-30T07:04:11Z) - Multi-grained Semantics-aware Graph Neural Networks [13.720544777078642]
グラフニューラルネットワーク(GNN)は、グラフの表現学習において強力な技術である。
本研究では,ノードとグラフ表現を対話的に学習する統合モデルAdamGNNを提案する。
14の実世界のグラフデータセットに対する実験により、AdamGNNはノードとグラフの両方のタスクにおいて17の競合するモデルを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2020-10-01T07:52:06Z) - CatGCN: Graph Convolutional Networks with Categorical Node Features [99.555850712725]
CatGCNはグラフ学習に適したノード機能である。
エンドツーエンドでCatGCNを訓練し、半教師付きノード分類でそれを実証する。
論文 参考訳（メタデータ） (2020-09-11T09:25:17Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z) - Sequential Graph Convolutional Network for Active Learning [53.99104862192055]
逐次グラフ畳み込みネットワーク(GCN)を用いた新しいプールベースアクティブラーニングフレームワークを提案する。
少数のランダムなサンプル画像がシードラベル付き例であるので、グラフのパラメータを学習してラベル付きノードと非ラベル付きノードを区別する。
我々はGCNの特性を利用してラベル付けされたものと十分に異なる未ラベルの例を選択する。
論文 参考訳（メタデータ） (2020-06-18T00:55:10Z) - Towards Deeper Graph Neural Networks with Differentiable Group
Normalization [61.20639338417576]
グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。
オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。
2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
論文 参考訳（メタデータ） (2020-06-12T07:18:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。