論文の概要: Multi-Level Attention Pooling for Graph Neural Networks: Unifying Graph Representations with Multiple Localities

• arxiv url: http://arxiv.org/abs/2103.01488v1
• Date: Tue, 2 Mar 2021 05:58:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:15:34.026988
• Title: Multi-Level Attention Pooling for Graph Neural Networks: Unifying Graph Representations with Multiple Localities
• Title（参考訳）: グラフニューラルネットワークのためのマルチレベルアテンションプール:複数の局所性を持つグラフ表現の統合
• Authors: Takeshi D. Itoh and Takatomi Kubo and Kazushi Ikeda
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造データのベクトル表現を学ぶために広く使用されている。 潜在的な原因は、深いGNNモデルは、多くのメッセージ通過ステップを通じてノードのローカル情報を失う傾向にある。 このいわゆる過度な問題を解くために,マルチレベルアテンションプールアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 4.142375560633827
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Graph neural networks (GNNs) have been widely used to learn vector representation of graph-structured data and achieved better task performance than conventional methods. The foundation of GNNs is the message passing procedure, which propagates the information in a node to its neighbors. Since this procedure proceeds one step per layer, the scope of the information propagation among nodes is small in the early layers, and it expands toward the later layers. The problem here is that the model performances degrade as the number of layers increases. A potential cause is that deep GNN models tend to lose the nodes' local information, which would be essential for good model performances, through many message passing steps. To solve this so-called oversmoothing problem, we propose a multi-level attention pooling (MLAP) architecture. It has an attention pooling layer for each message passing step and computes the final graph representation by unifying the layer-wise graph representations. The MLAP architecture allows models to utilize the structural information of graphs with multiple levels of localities because it preserves layer-wise information before losing them due to oversmoothing. Results of our experiments show that the MLAP architecture improves deeper models' performance in graph classification tasks compared to the baseline architectures. In addition, analyses on the layer-wise graph representations suggest that MLAP has the potential to learn graph representations with improved class discriminability by aggregating information with multiple levels of localities.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,グラフ構造化データのベクトル表現の学習に広く用いられ,従来の手法よりも優れたタスク性能を実現している。 GNNsの基礎は、ノード内の情報を隣人に伝搬するメッセージパッシング手順である。 この手順は層ごとに1ステップ進むので、ノード間の情報伝達の範囲は初期層では小さく、後層に向かって拡張される。 ここでの問題は、レイヤ数の増加に伴ってモデルパフォーマンスが低下することです。 潜在的な原因は、ディープGNNモデルが多くのメッセージパッシングステップを通じて、優れたモデルパフォーマンスに不可欠なノードのローカル情報を失う傾向があることである。 いわゆる過スムージング問題を解決するため,MLAP(Multi-level attention pooling)アーキテクチャを提案する。 メッセージパッシングの各ステップに注目のプーリング層を持ち、レイヤーワイズグラフ表現を統合して最終的なグラフ表現を計算します。 MLAPアーキテクチャは、モデルが複数のレベルの局所性を持つグラフの構造情報を利用することを可能にする。 実験結果から, MLAPアーキテクチャは, ベースラインアーキテクチャと比較して, グラフ分類タスクにおけるモデルのパフォーマンスを向上することを示した。 さらに,レイヤワイドグラフ表現の解析から,複数レベルの局所性を持つ情報を集約することで,クラス識別性が向上したグラフ表現を学習できる可能性が示唆された。

関連論文リスト

• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• Addressing Heterophily in Node Classification with Graph Echo State Networks [11.52174067809364]
  ノード分類のためのグラフエコー状態ネットワーク(GESN)を用いた異種グラフの課題に対処する。 GESNはグラフのための貯水池計算モデルであり、ノードの埋め込みは訓練されていないメッセージパッシング関数によって計算される。 実験の結果, 貯水池モデルでは, ほぼ完全に訓練された深層モデルに対して, より優れた精度あるいは同等の精度が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-14T19:42:31Z)
• AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing [29.618952407794776]
  グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。 GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。 AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
  論文  参考訳（メタデータ） (2023-04-14T09:20:03Z)
• Building Shortcuts between Distant Nodes with Biaffine Mapping for Graph Convolutional Networks [18.160610500658183]
  本稿では,浅いアーキテクチャでグラフ畳み込みネットワークの表現性を向上するバイファイン手法を提案する。 提案手法は,ノードの長距離隣人への直接依存を学習することであり,ノード表現のためのリッチな情報を取得することができるのはワンホップメッセージパッシングのみである。
  論文  参考訳（メタデータ） (2023-02-17T06:39:47Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• Graph-MLP: Node Classification without Message Passing in Graph [28.604893350871777]
  グラフニューラルネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 最近の研究は主に強力なメッセージパッシングモジュールに焦点を当てているが、この記事では、メッセージパッシングモジュールは必要ないことを示す。 本稿では,グラフ構造を利用した教師信号を用いた,純粋な多層パーセプトロンベースのGraph-MLPを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:07:21Z)
• Hierarchical Graph Capsule Network [78.4325268572233]
  ノード埋め込みを共同で学習し,グラフ階層を抽出できる階層型グラフカプセルネットワーク(HGCN)を提案する。 階層的表現を学ぶために、HGCNは下層カプセル(部分)と高層カプセル(全体)の間の部分的関係を特徴付ける。
  論文  参考訳（メタデータ） (2020-12-16T04:13:26Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
  HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。 空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
  論文  参考訳（メタデータ） (2020-09-19T09:26:20Z)
• Unsupervised Hierarchical Graph Representation Learning by Mutual Information Maximization [8.14036521415919]
  教師なしグラフ表現学習法,Unsupervised Hierarchical Graph Representation (UHGR)を提案する。 本手法は,「ローカル」表現と「グローバル」表現の相互情報の最大化に焦点をあてる。 その結果,提案手法は,いくつかのベンチマークにおいて,最先端の教師付き手法に匹敵する結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-03-18T18:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。