論文の概要: Position-based Hash Embeddings For Scaling Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2109.00101v1
- Date: Tue, 31 Aug 2021 22:42:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 14:08:44.547421
- Title: Position-based Hash Embeddings For Scaling Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークのスケーリングのための位置ベースハッシュ埋め込み
- Authors: Maria Kalantzi, George Karypis
- Abstract要約: グラフニューラルネットワーク(GNN)は、ノードのエゴネットワークのトポロジとエゴネットワークのノードの特徴を考慮したノード表現を演算する。
ノードが高品質な機能を持っていない場合、GNNはノードの埋め込みを計算するために埋め込み層を学び、それらを入力機能として使用する。
この埋め込みレイヤに関連するメモリを削減するため、NLPやレコメンダシステムのようなアプリケーションで一般的に使用されるハッシュベースのアプローチが利用可能である。
本稿では,グラフ内のノードの位置を利用して,必要なメモリを大幅に削減する手法を提案する。
- 参考スコア（独自算出の注目度）: 8.87527266373087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) bring the power of deep representation learning
to graph and relational data and achieve state-of-the-art performance in many
applications. GNNs compute node representations by taking into account the
topology of the node's ego-network and the features of the ego-network's nodes.
When the nodes do not have high-quality features, GNNs learn an embedding layer
to compute node embeddings and use them as input features. However, the size of
the embedding layer is linear to the graph size and does not scale to graphs
with hundreds of millions of nodes. To reduce the memory associated with this
embedding layer, hashing-based approaches, commonly used in applications like
NLP and recommender systems, can potentially be used. However, a direct
application of these ideas fails to exploit the fact that in many real-world
graphs, nodes that are topologically close will tend to be related to each
other (homophily) and as such their representations will be similar.
In this work, we present approaches that take advantage of the nodes'
position in the graph to dramatically reduce the memory required, with minimal
if any degradation in the quality of the resulting GNN model. Our approaches
decompose a node's embedding into two components: a position-specific component
and a node-specific component. The position-specific component models homophily
and the node-specific component models the node-to-node variation. Extensive
experiments using different datasets and GNN models show that in nearly all
cases, our methods are able to reduce the memory requirements by 86% to 97%
while achieving better classification accuracy than other competing approaches,
including the full embeddings.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフとリレーショナルデータにディープ表現学習のパワーをもたらし、多くのアプリケーションで最先端のパフォーマンスを実現する。
GNNは、ノードのego-networkのトポロジーとego-networkのノードの特徴を考慮してノード表現を計算する。
ノードが高品質な機能を持っていない場合、GNNはノードの埋め込みを計算するために埋め込み層を学び、それらを入力機能として使用する。
しかし、埋め込み層のサイズはグラフサイズに線形であり、数億のノードを持つグラフにはスケールしない。
この埋め込みレイヤに関連するメモリを削減するため、NLPやレコメンダシステムのようなアプリケーションで一般的に使用されるハッシュベースのアプローチが利用可能である。
しかし、これらのアイデアの直接的な応用は、多くの実世界のグラフにおいて、位相的に近いノードが互いに関連し(ホモフィリー)、それらの表現が類似するという事実を利用することができない。
本稿では,GNNモデルの品質劣化を最小限に抑えながら,グラフ内のノードの位置を利用して必要なメモリを劇的に削減する手法を提案する。
当社のアプローチでは,ノードの埋め込みを2つのコンポーネント – 位置固有コンポーネントとノード固有コンポーネント – に分解する。
位置特化コンポーネントはホモフィリーに、ノード特化コンポーネントはノード間変動をモデル化する。
異なるデータセットとGNNモデルを用いた大規模な実験により、ほぼすべてのケースにおいて、我々の手法は、完全な埋め込みを含む他の競合するアプローチよりも優れた分類精度を達成しつつ、メモリ要求を86%から97%削減できることが示された。
関連論文リスト
- Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。
このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
論文 参考訳（メタデータ） (2023-12-16T14:09:23Z) - Content Augmented Graph Neural Networks [0.824969449883056]
本稿では, ノードの埋め込みを, コンテンツから生成された埋め込みによって, 上位のGNN層に拡張することを提案する。
自動エンコーダやコンテンツグラフの構築など,コンテンツ埋め込みを生成する手法を提案する。
論文 参考訳（メタデータ） (2023-11-21T17:30:57Z) - Enhanced Graph Neural Networks with Ego-Centric Spectral Subgraph
Embeddings Augmentation [11.841882902141696]
Ego-centric Spectral subGraph Embedding Augmentation (ESGEA) と呼ばれる新しいアプローチを提案する。
ESGEAは、特に情報が不足しているシナリオにおいて、ノード機能の強化と設計を目的としている。
ノード属性が利用できないソーシャルネットワークグラフ分類タスクにおいて,提案手法の評価を行った。
論文 参考訳（メタデータ） (2023-10-10T14:57:29Z) - Collaborative Graph Neural Networks for Attributed Network Embedding [63.39495932900291]
グラフニューラルネットワーク(GNN)は、属性付きネットワーク埋め込みにおいて顕著な性能を示している。
本稿では,ネットワーク埋め込みに適したGNNアーキテクチャであるCulaborative graph Neural Networks-CONNを提案する。
論文 参考訳（メタデータ） (2023-07-22T04:52:27Z) - Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。
Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-05-18T07:27:18Z) - LSGNN: Towards General Graph Neural Network in Node Classification by
Local Similarity [59.41119013018377]
本稿では,ローカル類似性(LocalSim)を用いて,プラグイン・アンド・プレイモジュールとしても機能するノードレベルの重み付き融合を学習する。
そこで本研究では,より情報性の高いマルチホップ情報を抽出するための,新規かつ効率的な初期残留差分接続(IRDC)を提案する。
提案手法,すなわちローカル類似グラフニューラルネットワーク(LSGNN)は,ホモ親和性グラフとヘテロ親和性グラフの両方において,同等あるいは優れた最先端性能を提供できる。
論文 参考訳（メタデータ） (2023-05-07T09:06:11Z) - Embedding Compression with Hashing for Efficient Representation Learning
in Large-Scale Graph [21.564894767364397]
グラフニューラルネットワーク(GNN)は、グラフデータに特化したディープラーニングモデルである。
本研究では,各ノードを浮動小数点ベクトルの代わりにビットベクトルでコンパクトに表現するノード埋め込み圧縮法を開発した。
提案手法は,提案手法が提案手法よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2022-08-11T05:43:39Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-16T22:46:33Z) - NDGGNET-A Node Independent Gate based Graph Neural Networks [6.155450481110693]
疎結合なノードでは、単一のGNN層を通して十分な情報を得るのは難しい。
この論文では、通常のGNNモデルでより多くのレイヤに対応可能な新しいフレームワークを定義する。
実験結果から,提案モデルがモデル深度を効果的に向上し,複数のデータセットで良好に動作できることが示唆された。
論文 参考訳（メタデータ） (2022-05-11T08:51:04Z) - Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。
そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
論文 参考訳（メタデータ） (2021-11-19T08:54:21Z) - Towards Deeper Graph Neural Networks with Differentiable Group
Normalization [61.20639338417576]
グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。
オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。
2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
論文 参考訳（メタデータ） (2020-06-12T07:18:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。