論文の概要: Graph Attention Retrospective

• arxiv url: http://arxiv.org/abs/2202.13060v1
• Date: Sat, 26 Feb 2022 04:58:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 14:16:09.773811
• Title: Graph Attention Retrospective
• Title（参考訳）: グラフ注目の振り返り
• Authors: Kimon Fountoulakis, Amit Levi, Shenghao Yang, Aseem Baranwal, Aukosh Jagannath
• Abstract要約: グラフベースの学習は、ソーシャルネットワーク、引用ネットワーク、バイオインフォマティクスに応用された機械学習の急速に成長するサブフィールドである。 最も一般的なモデルの1つはグラフアテンションネットワークである。 本稿では,このグラフ注意ネットワークの振る舞いを理論的に検討する。 本研究では,文脈ブロックモデルにおけるノード分類問題に対するグラフアテンション機構の性能に関する複数の結果を示す。
• 参考スコア（独自算出の注目度）: 14.52271219759284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph-based learning is a rapidly growing sub-field of machine learning with applications in social networks, citation networks, and bioinformatics. One of the most popular type of models is graph attention networks. These models were introduced to allow a node to aggregate information from the features of neighbor nodes in a non-uniform way in contrast to simple graph convolution which does not distinguish the neighbors of a node. In this paper, we study theoretically this expected behaviour of graph attention networks. We prove multiple results on the performance of the graph attention mechanism for the problem of node classification for a contextual stochastic block model. Here the features of the nodes are obtained from a mixture of Gaussians and the edges from a stochastic block model where the features and the edges are coupled in a natural way. First, we show that in an "easy" regime, where the distance between the means of the Gaussians is large enough, graph attention maintains the weights of intra-class edges and significantly reduces the weights of the inter-class edges. As a corollary, we show that this implies perfect node classification independent of the weights of inter-class edges. However, a classical argument shows that in the "easy" regime, the graph is not needed at all to classify the data with high probability. In the "hard" regime, we show that every attention mechanism fails to distinguish intra-class from inter-class edges. We evaluate our theoretical results on synthetic and real-world data.
• Abstract（参考訳）: グラフベースの学習は、ソーシャルネットワーク、引用ネットワーク、バイオインフォマティクスに応用された機械学習の急速に成長するサブフィールドである。 最も人気のあるモデルの1つはグラフアテンションネットワークである。 これらのモデルは、ノードの隣接を区別しない単純なグラフ畳み込みとは対照的に、隣接ノードの特徴から情報を一様でない方法で集約するために導入された。 本稿では,このグラフ注意ネットワークの振る舞いを理論的に検討する。 本研究では,文脈確率ブロックモデルにおけるノード分類問題に対するグラフ注意機構の性能に関する複数の結果を示す。 ここで、ノードの特徴はガウスとエッジの混合から得られ、その特徴とエッジは自然な方法で結合される確率的ブロックモデルから得られる。 まず,ガウス平均間の距離が十分大きい「容易」な方法では,グラフ注意がクラス内エッジの重みを維持し,クラス間エッジの重みを著しく減少させることを示す。 結論として,これはクラス間のエッジの重みに依存しない完全ノード分類を意味することを示す。 しかし、古典的な議論は、「容易」な方法では、データを高い確率で分類するにはグラフは必要ないことを示している。 ハード」では全ての注意機構がクラス内エッジとクラス間エッジを区別できないことを示す。 合成データと実世界のデータから理論的結果を評価する。

関連論文リスト

• Saliency-Aware Regularized Graph Neural Network [39.82009838086267]
  グラフ分類のためのSAR-GNN(Saliency-Aware Regularized Graph Neural Network)を提案する。 まず,コンパクトなグラフ表現とノード特徴とのセマンティックな類似性を測定することで,グローバルノードの正当性を推定する。 そして、学習した塩分濃度分布を利用して、背骨の近傍集合を規則化する。
  論文  参考訳（メタデータ） (2024-01-01T13:44:16Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• On Classification Thresholds for Graph Attention with Edge Features [26.01769042481568]
  我々は,古典的分類課題におけるグラフ注意ネットワークとノードの正確なラベル付け能力を分析し,理論的,実証的に分析する。 注意係数を決定するためにランダムエッジ特徴を入力とする一般グラフアテンション機構を考察する。
  論文  参考訳（メタデータ） (2022-10-18T17:32:18Z)
• Neighborhood Random Walk Graph Sampling for Regularized Bayesian Graph Convolutional Neural Networks [0.6236890292833384]
  本稿では,近隣ランダムウォークサンプリング(BGCN-NRWS)を用いたベイジアングラフ畳み込みネットワーク(Bayesian Graph Convolutional Network)を提案する。 BGCN-NRWSは、グラフ構造を利用したマルコフ・チェイン・モンテカルロ(MCMC)に基づくグラフサンプリングアルゴリズムを使用し、変分推論層を用いてオーバーフィッティングを低減し、半教師付きノード分類における最先端と比較して一貫して競合する分類結果を得る。
  論文  参考訳（メタデータ） (2021-12-14T20:58:27Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
  本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。 クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
  論文  参考訳（メタデータ） (2021-09-24T08:01:23Z)
• Graph Decoupling Attention Markov Networks for Semi-supervised Graph Node Classification [38.52231889960877]
  グラフニューラルネットワーク(GNN)は、ノード分類などのグラフ学習タスクにおいてユビキタスである。 本稿では,グラフノードのラベル依存を考察し,ハードとソフトの両方の注意を学ぶための分離注意機構を提案する。
  論文  参考訳（メタデータ） (2021-04-28T11:44:13Z)
• Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks [67.25782890241496]
  異種ネットワーク表現学習のための高次属性強化グラフニューラルネットワーク(HAEGNN)を提案する。 HAEGNNは、リッチで異質なセマンティクスのためのメタパスとメタグラフを同時に組み込む。 ノード分類、ノードクラスタリング、可視化における最先端の手法よりも優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-04-16T04:56:38Z)
• Line Graph Neural Networks for Link Prediction [71.00689542259052]
  実世界の多くのアプリケーションにおいて古典的なグラフ解析問題であるグラフリンク予測タスクについて検討する。 このフォーマリズムでは、リンク予測問題をグラフ分類タスクに変換する。 本稿では,線グラフをグラフ理論に用いて,根本的に異なる新しい経路を求めることを提案する。 特に、線グラフの各ノードは、元のグラフのユニークなエッジに対応するため、元のグラフのリンク予測問題は、グラフ分類タスクではなく、対応する線グラフのノード分類問題として等価に解決できる。
  論文  参考訳（メタデータ） (2020-10-20T05:54:31Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。