論文の概要: Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2411.00835v1
• Date: Tue, 29 Oct 2024 17:18:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:17.454479
• Title: Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning
• Title（参考訳）: スケーラブルなメッセージパッシングニューラルネットワーク - グラフ表現学習における注意の必要性
• Authors: Haitz Sáez de Ocáriz Borde, Artem Lukoianov, Anastasis Kratsios, Michael Bronstein, Xiaowen Dong,
• Abstract要約: 我々は、標準畳み込みメッセージパッシングを注意の代わりにプレ層正規化トランスフォーマースタイルのブロックに統合することにより、高性能なディープメッセージパッシングベースグラフニューラルネットワーク(GNN)を実現できることを示す。 結果は、大グラフトランスダクティブ学習における最先端の最先端と競合するが、それ以外は計算的かつメモリ拡張的な注意機構を必要としない。
• 参考スコア（独自算出の注目度）: 15.317501970096743
• License:
• Abstract: We propose Scalable Message Passing Neural Networks (SMPNNs) and demonstrate that, by integrating standard convolutional message passing into a Pre-Layer Normalization Transformer-style block instead of attention, we can produce high-performing deep message-passing-based Graph Neural Networks (GNNs). This modification yields results competitive with the state-of-the-art in large graph transductive learning, particularly outperforming the best Graph Transformers in the literature, without requiring the otherwise computationally and memory-expensive attention mechanism. Our architecture not only scales to large graphs but also makes it possible to construct deep message-passing networks, unlike simple GNNs, which have traditionally been constrained to shallow architectures due to oversmoothing. Moreover, we provide a new theoretical analysis of oversmoothing based on universal approximation which we use to motivate SMPNNs. We show that in the context of graph convolutions, residual connections are necessary for maintaining the universal approximation properties of downstream learners and that removing them can lead to a loss of universality.
• Abstract（参考訳）: 本稿では、SMPNN(Scalable Message Passing Neural Networks)を提案し、標準畳み込みメッセージパッシングを注意の代わりにプレ層正規化トランスフォーマースタイルのブロックに統合することにより、高性能なディープメッセージパッシングベースグラフニューラルネットワーク(GNN)を作成できることを実証する。 この修正は、大規模グラフトランスダクティブ学習における最先端の成果と競合し、特に、計算的かつメモリ拡張的な注意機構を必要とせず、文学における最高のグラフトランスフォーマーよりも優れている。 我々のアーキテクチャは、巨大なグラフにスケールするだけでなく、過度にスムーズなアーキテクチャに制約された単純なGNNとは異なり、ディープメッセージパッシングネットワークを構築することもできる。 さらに,SMPNNのモチベーションに使用する普遍近似に基づくオーバースムーシングの新たな理論的解析法を提案する。 グラフ畳み込みの文脈では、下流学習者の普遍的近似特性を維持するためには残差接続が必要であり、それらを取り除くことは普遍性を損なう可能性があることを示す。

関連論文リスト

• Graph Coordinates and Conventional Neural Networks -- An Alternative for Graph Neural Networks [0.10923877073891444]
  メッセージパッシングGNNの新たな代替手段として,Topology Coordinate Neural Network (TCNN) と Directional Virtual Coordinate Neural Network (DVCNN) を提案する。 TCNNとDVCNNは、メッセージパッシングGNNの競合や優れたパフォーマンスを達成する。 私たちの研究は、グラフベースの機械学習のためのテクニックのツールボックスを拡張します。
  論文  参考訳（メタデータ） (2023-12-03T10:14:10Z)
• Connectivity Optimized Nested Graph Networks for Crystal Structures [1.1470070927586016]
  グラフニューラルネットワーク(GNN)は、材料科学や化学における様々な応用に応用されている。 提案したモデルでは,MateBenchベンチマークのすべてのタスクにおいて,最新の結果が体系的に改善されることが示されている。
  論文  参考訳（メタデータ） (2023-02-27T19:26:48Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• EEGNN: Edge Enhanced Graph Neural Networks [1.0246596695310175]
  そこで本研究では,このような劣化した性能現象の新たな説明法を提案する。 このような単純化は、グラフの構造情報を取得するためにメッセージパッシング層の可能性を減らすことができることを示す。 EEGNNは、提案したディリクレ混合ポアソングラフモデルから抽出した構造情報を用いて、様々なディープメッセージパスGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2022-08-12T15:24:55Z)
• Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid Scattering Networks [11.857894213975644]
  本稿では,従来のGCNフィルタと幾何散乱変換を用いて定義された帯域通過フィルタを組み合わせたハイブリッドグラフニューラルネットワーク(GNN)フレームワークを提案する。 理論的には, グラフからの構造情報を活用するために散乱フィルタの相補的な利点が確立され, 実験では様々な学習課題における手法の利点が示された。
  論文  参考訳（メタデータ） (2022-01-22T00:47:41Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
  ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。 グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。 私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
  論文  参考訳（メタデータ） (2020-12-20T04:20:38Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2020-10-06T01:20:27Z)
• Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks [183.97265247061847]
  我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。 GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。 また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
  論文  参考訳（メタデータ） (2020-03-08T13:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。