論文の概要: Improving Graph Neural Networks with Simple Architecture Design

• arxiv url: http://arxiv.org/abs/2105.07634v1
• Date: Mon, 17 May 2021 06:46:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 15:11:03.819195
• Title: Improving Graph Neural Networks with Simple Architecture Design
• Title（参考訳）: 単純なアーキテクチャ設計によるグラフニューラルネットワークの改善
• Authors: Sunil Kumar Maurya, Xin Liu and Tsuyoshi Murata
• Abstract要約: グラフニューラルネットワークの重要な設計戦略をいくつか紹介する。 簡便で浅いモデルである特徴選択グラフニューラルネットワーク(FSGNN)を紹介します。 提案手法は,他のGNNモデルよりも優れており,ノード分類タスクの精度が最大64%向上していることを示す。
• 参考スコア（独自算出の注目度）: 7.057970273958933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks have emerged as a useful tool to learn on the data by applying additional constraints based on the graph structure. These graphs are often created with assumed intrinsic relations between the entities. In recent years, there have been tremendous improvements in the architecture design, pushing the performance up in various prediction tasks. In general, these neural architectures combine layer depth and node feature aggregation steps. This makes it challenging to analyze the importance of features at various hops and the expressiveness of the neural network layers. As different graph datasets show varying levels of homophily and heterophily in features and class label distribution, it becomes essential to understand which features are important for the prediction tasks without any prior information. In this work, we decouple the node feature aggregation step and depth of graph neural network and introduce several key design strategies for graph neural networks. More specifically, we propose to use softmax as a regularizer and "Soft-Selector" of features aggregated from neighbors at different hop distances; and "Hop-Normalization" over GNN layers. Combining these techniques, we present a simple and shallow model, Feature Selection Graph Neural Network (FSGNN), and show empirically that the proposed model outperforms other state of the art GNN models and achieves up to 64% improvements in accuracy on node classification tasks. Moreover, analyzing the learned soft-selection parameters of the model provides a simple way to study the importance of features in the prediction tasks. Finally, we demonstrate with experiments that the model is scalable for large graphs with millions of nodes and billions of edges.
• Abstract（参考訳）: グラフニューラルネットワークは、グラフ構造に基づいた追加の制約を適用することによって、データを学ぶための有用なツールとして登場した。 これらのグラフは、しばしばエンティティ間の内在関係を仮定して作成される。 近年、アーキテクチャ設計が大幅に改善され、様々な予測タスクのパフォーマンスが向上している。 一般に、これらのニューラルアーキテクチャは層深度とノード特徴集約のステップを組み合わせる。 これにより、様々なホップにおける特徴の重要性とニューラルネットワーク層の表現力の分析が困難になる。 異なるグラフデータセットが特徴量やクラスラベル分布の相同性および異種性を示すため、事前情報を持たない予測タスクにおいてどの特徴が重要かを理解することが不可欠となる。 本研究では,グラフニューラルネットワークのノード特徴集約ステップと深さを分離し,グラフニューラルネットワークの重要な設計戦略を紹介する。 具体的には、隣接するホップ距離の異なる特徴の正則化と「ソフトセレクタ」としてソフトマックスを用い、GNN層上での「ホップノーマライゼーション」を提案する。 これらの手法を組み合わせることで、単純で浅いモデルである特徴選択グラフニューラルネットワーク(fsgnn)を示し、提案モデルがart gnnモデルの他の状態よりも優れており、ノード分類タスクの精度が最大64%向上していることを示す。 さらに、モデルの学習したソフト選択パラメータを分析することで、予測タスクにおける特徴の重要性を調べるための簡単な方法を提供する。 最後に,数百万のノードと数十億のエッジを持つ大規模グラフに対して,モデルがスケーラブルであることを示す実験を行った。

関連論文リスト

• TANGNN: a Concise, Scalable and Effective Graph Neural Networks with Top-m Attention Mechanism for Graph Representation Learning [7.879217146851148]
  本稿では,Top-mアテンション機構アグリゲーションコンポーネントと近傍アグリゲーションコンポーネントを統合した,革新的なグラフニューラルネットワーク(GNN)アーキテクチャを提案する。 提案手法の有効性を評価するため,提案手法をGNN分野において未探索の新たな課題である引用感情予測に適用した。
  論文  参考訳（メタデータ） (2024-11-23T05:31:25Z)
• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• Hyperbolic Benchmarking Unveils Network Topology-Feature Relationship in GNN Performance [0.5416466085090772]
  グラフ機械学習のための総合的なベンチマークフレームワークを導入する。 我々は,現実的なトポロジ特性とノード特徴ベクトルを持つ合成ネットワークを生成する。 その結果,ネットワーク構造とノード特徴間の相互作用にモデル性能が依存していることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-04T20:40:06Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Simplifying approach to Node Classification in Graph Neural Networks [7.057970273958933]
  グラフニューラルネットワークのノード特徴集約ステップと深さを分離し、異なる集約特徴が予測性能にどのように寄与するかを経験的に分析する。 集約ステップによって生成された全ての機能が有用であるとは限らないことを示し、これらの少ない情報的特徴を用いることは、GNNモデルの性能に有害であることを示す。 提案モデルでは,提案モデルが最先端のGNNモデルと同等あるいはそれ以上の精度を達成可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-11-12T14:53:22Z)
• Breaking the Limit of Graph Neural Networks by Improving the Assortativity of Graphs with Local Mixing Patterns [19.346133577539394]
  グラフニューラルネットワーク(GNN)は、複数のグラフベースの学習タスクで大きな成功を収めています。 入力グラフを近接情報と構造情報の両方を含む計算グラフに変換することに集中する。 構造と近接度を適応的に選択することで,様々な混合条件下での性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-11T19:18:34Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Graph Neural Networks Including Sparse Interpretability [0.0]
  本稿では,重要なグラフ構造とノード特徴を解釈するためのモデルに依存しないフレームワークを提案する。 GISSTモデルは、合成データセットにおいて優れたノード特徴とエッジ説明精度を実現する。
  論文  参考訳（メタデータ） (2020-06-30T21:35:55Z)
• Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks [183.97265247061847]
  我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。 GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。 また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
  論文  参考訳（メタデータ） (2020-03-08T13:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。