論文の概要: Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences

• arxiv url: http://arxiv.org/abs/2202.03341v1
• Date: Mon, 7 Feb 2022 16:38:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 16:57:13.588018
• Title: Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences
• Title（参考訳）: Neighbor2Seq: 近隣をシーケンスに変換することで大量グラフを深層学習する
• Authors: Meng Liu and Shuiwang Ji
• Abstract要約: 本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 55.329402218608365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern graph neural networks (GNNs) use a message passing scheme and have achieved great success in many fields. However, this recursive design inherently leads to excessive computation and memory requirements, making it not applicable to massive real-world graphs. In this work, we propose the Neighbor2Seq to transform the hierarchical neighborhood of each node into a sequence. This novel transformation enables the subsequent mini-batch training for general deep learning operations, such as convolution and attention, that are designed for grid-like data and are shown to be powerful in various domains. Therefore, our Neighbor2Seq naturally endows GNNs with the efficiency and advantages of deep learning operations on grid-like data by precomputing the Neighbor2Seq transformations. We evaluate our method on a massive graph, with more than 111 million nodes and 1.6 billion edges, as well as several medium-scale graphs. Results show that our proposed method is scalable to massive graphs and achieves superior performance across massive and medium-scale graphs. Our code is available at https://github.com/divelab/Neighbor2Seq.
• Abstract（参考訳）: 現代のグラフニューラルネットワーク(GNN)はメッセージパッシング方式を採用し、多くの分野で大きな成功を収めている。 しかし、この再帰的設計は本質的に過剰な計算とメモリ要求をもたらし、大規模な実世界のグラフには適用できない。 本研究では,各ノードの階層的近傍をシーケンスに変換するNeighbor2Seqを提案する。 この斬新なトランスフォーメーションによって、畳み込みや注意といった一般的なディープラーニング操作のためのミニバッチトレーニングが可能になり、グリッドのようなデータ用に設計され、さまざまな領域で強力であることが示されている。 そのため、我々のNeighbor2Seqは、Nighbor2Seq変換をプリ計算することで、グリッドライクなデータに対するディープラーニング操作の効率性と利点をGNNに自然に与えている。 我々は,1100万以上のノードと160億のエッジを持つ大規模グラフと,複数の中規模グラフを用いて本手法を評価する。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。 私たちのコードはhttps://github.com/divelab/neighbor2seqで利用可能です。

関連論文リスト

• Learning on Large Graphs using Intersecting Communities [13.053266613831447]
  MPNNは、各ノードの隣人からのメッセージを集約することで、入力グラフ内の各ノードの表現を反復的に更新する。 MPNNは、あまりスパースではないため、すぐに大きなグラフの禁止になるかもしれない。 本稿では,入力グラフを交差するコミュニティグラフ (ICG) として近似することを提案する。
  論文  参考訳（メタデータ） (2024-05-31T09:26:26Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
  グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。 SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。 利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
  論文  参考訳（メタデータ） (2022-07-19T10:32:11Z)
• Representing Long-Range Context for Graph Neural Networks with Global Attention [37.212747564546156]
  本稿では,トランスフォーマーに基づく自己認識を用いて,長距離ペア関係の学習を提案する。 提案手法はGraphTransと呼ばれ,標準のGNNモジュールに代えて置換不変なTransformerモジュールを適用している。 その結果,グラフ構造を持たない純粋学習に基づくアプローチは,グラフ上の高レベルな長距離関係を学習するのに適している可能性が示唆された。
  論文  参考訳（メタデータ） (2022-01-21T18:16:21Z)
• RaWaNet: Enriching Graph Neural Network Input via Random Walks on Graphs [0.0]
  グラフニューラルネットワーク(GNN)の人気が高まっており、グラフで表されるデータに対して非常に有望な結果を示している。 本稿では,3つの選択された長さに基づいて,グラフのランダムなウォークデータ処理を提案する。すなわち,グラフ上の局所的および大域的ダイナミクスを捉えるために,長さ1,2の(正規)ウォークと長さ0,1$の分節ウォークを提案する。 本手法は, 処理ノードの特徴をネットワークに渡すことによって, 様々な分子データセット上で検証し, 分類および回帰処理を行う。
  論文  参考訳（メタデータ） (2021-09-15T20:04:01Z)
• Training Graph Neural Networks with 1000 Layers [133.84813995275988]
  我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
  論文  参考訳（メタデータ） (2021-06-14T15:03:00Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。