論文の概要: GMLP: Building Scalable and Flexible Graph Neural Networks with Feature-Message Passing

• arxiv url: http://arxiv.org/abs/2104.09880v1
• Date: Tue, 20 Apr 2021 10:19:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 13:34:55.131289
• Title: GMLP: Building Scalable and Flexible Graph Neural Networks with Feature-Message Passing
• Title（参考訳）: GMLP:Feature-Message Passingによるスケーラブルでフレキシブルなグラフニューラルネットワークの構築
• Authors: Wentao Zhang, Yu Shen, Zheyu Lin, Yang Li, Xiaosen Li, Wen Ouyang, Yangyu Tao, Zhi Yang, and Bin Cui
• Abstract要約: Graph Multi-layer Perceptron (GMLP)は、ニューラルアップデートとメッセージパッシングを分離する。 11のベンチマークデータセットに対して広範な評価を行う。
• 参考スコア（独自算出の注目度）: 16.683813354137254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent studies, neural message passing has proved to be an effective way to design graph neural networks (GNNs), which have achieved state-of-the-art performance in many graph-based tasks. However, current neural-message passing architectures typically need to perform an expensive recursive neighborhood expansion in multiple rounds and consequently suffer from a scalability issue. Moreover, most existing neural-message passing schemes are inflexible since they are restricted to fixed-hop neighborhoods and insensitive to the actual demands of different nodes. We circumvent these limitations by a novel feature-message passing framework, called Graph Multi-layer Perceptron (GMLP), which separates the neural update from the message passing. With such separation, GMLP significantly improves the scalability and efficiency by performing the message passing procedure in a pre-compute manner, and is flexible and adaptive in leveraging node feature messages over various levels of localities. We further derive novel variants of scalable GNNs under this framework to achieve the best of both worlds in terms of performance and efficiency. We conduct extensive evaluations on 11 benchmark datasets, including large-scale datasets like ogbn-products and an industrial dataset, demonstrating that GMLP achieves not only the state-of-art performance, but also high training scalability and efficiency.
• Abstract（参考訳）: 近年の研究では、多くのグラフベースタスクにおいて最先端のパフォーマンスを達成したグラフニューラルネットワーク(GNN)を設計するための効果的な方法として、ニューラルメッセージパッシングが証明されている。 しかし、現在のニューラルメッセージパッシングアーキテクチャでは、通常、複数のラウンドで高価な再帰的な近所拡張を実行する必要があり、結果としてスケーラビリティの問題が発生する。 さらに、既存のニューラルメッセージパッシングスキームのほとんどは、固定ホップ近傍に限定され、異なるノードの実際の要求に敏感であるため、柔軟性がない。 我々はこれらの制限を、グラフ多層パーセプトロン(GMLP)と呼ばれる新しい機能メッセージパッシングフレームワークによって回避し、ニューラルアップデートとメッセージパッシングを分離する。 このような分離によってgmlpは、プリコンピュートな方法でメッセージパッシング手順を実行することでスケーラビリティと効率を大幅に向上させ、さまざまなレベルのローカリティでノード機能メッセージを活用するための柔軟性と適応性を備えている。 さらに、このフレームワークの下で、パフォーマンスと効率の両世界のベストを達成するために、スケーラブルなGNNの新しいバリエーションを導き出します。 我々は、ogbn-productsや産業データセットなどの大規模データセットを含む11のベンチマークデータセットに対して広範な評価を行い、GMLPが最先端のパフォーマンスだけでなく、高いトレーニングスケーラビリティと効率を達成することを示す。

関連論文リスト

• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Efficient Heterogeneous Graph Learning via Random Projection [65.65132884606072]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
  暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。 暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。 グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T18:18:55Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Efficient and effective training of language and graph neural network models [36.00479096375565]
  我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。 本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。 我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-06-22T00:23:37Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Local Permutation Equivariance For Graph Neural Networks [2.208242292882514]
  そこで我々は,局所置換同変グラフニューラルネットワークという新しい手法を開発した。 ローカルノード近傍で動作するグラフニューラルネットワークを構築するためのフレームワークを提供する。 提案手法を,グラフベンチマークの分類タスクの範囲で実験的に検証する。
  論文  参考訳（メタデータ） (2021-11-23T13:10:34Z)
• Simplifying approach to Node Classification in Graph Neural Networks [7.057970273958933]
  グラフニューラルネットワークのノード特徴集約ステップと深さを分離し、異なる集約特徴が予測性能にどのように寄与するかを経験的に分析する。 集約ステップによって生成された全ての機能が有用であるとは限らないことを示し、これらの少ない情報的特徴を用いることは、GNNモデルの性能に有害であることを示す。 提案モデルでは,提案モデルが最先端のGNNモデルと同等あるいはそれ以上の精度を達成可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-11-12T14:53:22Z)
• Graph Attention Multi-Layer Perceptron [12.129233487384965]
  グラフニューラルネットワーク(GNN)は、最近、多くのグラフベースのアプリケーションで最先端のパフォーマンスを達成した。 スケーラブルでフレキシブルなグラフ注意多層パーセプトロン(GAMLP)を導入する。 GAMLPの各ノードは3つの原則による受容野の注意によって柔軟で適応的であり、受信野の異なる大きさに伝播する特徴を利用する。
  論文  参考訳（メタデータ） (2021-08-23T11:56:20Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。