論文の概要: Accurate and Scalable Graph Neural Networks via Message Invariance

• arxiv url: http://arxiv.org/abs/2502.19693v1
• Date: Thu, 27 Feb 2025 02:07:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:41.407131
• Title: Accurate and Scalable Graph Neural Networks via Message Invariance
• Title（参考訳）: メッセージ不変性を利用した高精度でスケーラブルなグラフニューラルネットワーク
• Authors: Zhihao Shi, Jie Wang, Zhiwei Zhuang, Xize Liang, Bin Li, Feng Wu,
• Abstract要約: 本稿では,大規模グラフトランスダクティブ学習のための,高精度かつ高速なミニバッチ手法を提案する。 そこで本研究では,TOPが既存のミニバッチ法に比べて,大規模グラフ上での桁違いに高速であることを示す。
• 参考スコア（独自算出の注目度）: 36.334113380584334
• License:
• Abstract: Message passing-based graph neural networks (GNNs) have achieved great success in many real-world applications. For a sampled mini-batch of target nodes, the message passing process is divided into two parts: message passing between nodes within the batch (MP-IB) and message passing from nodes outside the batch to those within it (MP-OB). However, MP-OB recursively relies on higher-order out-of-batch neighbors, leading to an exponentially growing computational cost with respect to the number of layers. Due to the neighbor explosion, the whole message passing stores most nodes and edges on the GPU such that many GNNs are infeasible to large-scale graphs. To address this challenge, we propose an accurate and fast mini-batch approach for large graph transductive learning, namely topological compensation (TOP), which obtains the outputs of the whole message passing solely through MP-IB, without the costly MP-OB. The major pillar of TOP is a novel concept of message invariance, which defines message-invariant transformations to convert costly MP-OB into fast MP-IB. This ensures that the modified MP-IB has the same output as the whole message passing. Experiments demonstrate that TOP is significantly faster than existing mini-batch methods by order of magnitude on vast graphs (millions of nodes and billions of edges) with limited accuracy degradation.
• Abstract（参考訳）: メッセージパッシングベースのグラフニューラルネットワーク(GNN)は多くの現実世界のアプリケーションで大きな成功を収めている。 ターゲットノードのサンプル化されたミニバッチでは、メッセージパッシングプロセスは、バッチ内のノード間のメッセージパッシング(MP-IB)と、バッチ外のノードからそれ内のノードへのメッセージパッシング(MP-OB)の2つの部分に分けられる。 しかし、MP-OBは、階層数に関して指数関数的に増大する計算コストをもたらす、高次のバッチ外近傍に再帰的に依存する。 隣の爆発のため、メッセージパッシング全体はGPU上のほとんどのノードとエッジを格納し、多くのGNNが大規模グラフでは不可能である。 この課題に対処するため,我々は,MP-OBを使わずに,MP-IBのみを経由する全メッセージの出力を得る大規模グラフトランスダクティブ学習(TOP)のための,高精度かつ高速なミニバッチ手法を提案する。 TOPの主要な柱はメッセージ不変性の概念であり、コストのかかるMP-OBを高速MP-IBに変換するメッセージ不変変換を定義する。 これにより、修正されたMP-IBがメッセージパッシング全体と同じ出力を持つことが保証される。 実験により、TOPは精度の低下が限定された巨大なグラフ(数百万のノードと数十億のエッジ)の桁数で既存のミニバッチ法よりも大幅に高速であることが示された。

関連論文リスト

• Partitioning Message Passing for Graph Fraud Detection [57.928658584067556]
  グラフフラッド検出(GFD)タスクにグラフニューラルネットワーク(GNN)を適用する場合、ラベルの不均衡とホモフィリー・ヘテロフィリー混合が直面する根本的な問題である。 既存のGNNベースのGFDモデルは、GNNのホモフィリーへの帰納バイアスに対応するためにグラフ構造を拡張するように設計されている。 我々の研究では、GFDにGNNを適用する鍵は除外するのではなく、異なるラベルを持つ隣人を区別することにあると論じている。
  論文  参考訳（メタデータ） (2024-11-16T11:30:53Z)
• Link Prediction with Untrained Message Passing Layers [0.716879432974126]
  グラフニューラルネットワークにおける各種未学習メッセージパッシング層の利用について検討する。 トレーニングされていないメッセージパッシング層は、完全にトレーニングされたMPNNと比較して競争力があり、パフォーマンスも優れていることが分かりました。
  論文  参考訳（メタデータ） (2024-06-24T14:46:34Z)
• Sign is Not a Remedy: Multiset-to-Multiset Message Passing for Learning on Heterophilic Graphs [77.42221150848535]
  我々は、Multiset to Multiset GNN(M2M-GNN)と呼ばれる新しいメッセージパッシング機能を提案する。 M2M-GNNは上述のSMPの限界を効果的に緩和し, 比較性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-05-31T07:39:22Z)
• MADNet: Maximizing Addressee Deduction Expectation for Multi-Party Conversation Generation [64.54727792762816]
  多人数会話(MPC)において共通の課題であるアドレスラベルの不足について検討する。 MPC生成のためのヘテロジニアスグラフニューラルネットワークにおけるアドレナリ推論期待を最大化するMADNetを提案する。 2つのUbuntu IRCチャネルベンチマークの実験結果から、MADNetは、MPC生成のタスクにおいて、様々なベースラインモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-22T05:50:11Z)
• Provably Convergent Subgraph-wise Sampling for Fast GNN Training [122.68566970275683]
  収束保証,すなわちローカルメッセージ補償(LMC)を用いた新しいサブグラフワイズサンプリング手法を提案する。 LMCは、後方パスのメッセージパスの定式化に基づいて、後方パスで破棄されたメッセージを検索する。 大規模ベンチマーク実験により、LCCは最先端のサブグラフワイドサンプリング法よりもはるかに高速であることが示された。
  論文  参考訳（メタデータ） (2023-03-17T05:16:49Z)
• MACE: Higher Order Equivariant Message Passing Neural Networks for Fast and Accurate Force Fields [4.812321790984494]
  MACEは,高次メッセージを用いたMPNNモデルである。 4体メッセージを使用することで、必要なメッセージパッシング回数を1つに減らし、高速で並列化可能なモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-06-15T17:46:05Z)
• Boosting Graph Neural Networks by Injecting Pooling in Message Passing [4.952681349410351]
  オーバースムーシングを防止するために,新しい,適応可能な,強力なMPフレームワークを提案する。 我々の両側MPは、ノードのクラス情報を利用して、ペアワイズなモジュラー勾配を推定する。 5つの中規模ベンチマークデータセットの実験から、二値MPは過度なスムーシングを緩和することで性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2022-02-08T08:21:20Z)
• Memory-based Message Passing: Decoupling the Message for Propogation from Discrimination [6.7605701314795095]
  メッセージパッシングはグラフニューラルネットワーク(GNN)の基本手順である 本稿では、各ノードのメッセージを識別のための自己埋め込み部と伝搬のためのメモリ部に分離するメモリベースのメッセージパッシング(MMP)手法を提案する。 私たちのMMPは、従来のGNNのパフォーマンス向上に役立つ追加レイヤとして機能する一般的なスキルです。
  論文  参考訳（メタデータ） (2022-02-01T14:15:32Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• GMLP: Building Scalable and Flexible Graph Neural Networks with Feature-Message Passing [16.683813354137254]
  Graph Multi-layer Perceptron (GMLP)は、ニューラルアップデートとメッセージパッシングを分離する。 11のベンチマークデータセットに対して広範な評価を行う。
  論文  参考訳（メタデータ） (2021-04-20T10:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。