論文の概要: Higher Order Graph Attention Probabilistic Walk Networks
- arxiv url: http://arxiv.org/abs/2411.12052v1
- Date: Mon, 18 Nov 2024 20:46:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:36:14.250809
- Title: Higher Order Graph Attention Probabilistic Walk Networks
- Title（参考訳）: 高次グラフ注意確率歩行ネットワーク
- Authors: Thomas Bailie, Yun Sing Koh, Karthik Mukkavilli,
- Abstract要約: メッセージパッシングニューラルネットワークは、グラフ構造に埋め込まれた潜時関係を利用する。
既存の方法は、1ドルのホップ地区内のローカル情報に依存している。
本稿では,特徴ベクトルの多様性に基づいた可変長経路に重みを割り当てる高次アテンション(HoGA)モジュールを提案する。
HoGAは、高次の関係を、いかなるシングルホップアテンション機構にも適用可能な、堅牢な自己意識の形式として表現している。
- 参考スコア（独自算出の注目度）: 3.481985817302898
- License:
- Abstract: Graphs inherently capture dependencies between nodes or variables through their topological structure, with paths between any two nodes indicating a sequential dependency on the nodes traversed. Message Passing Neural Networks (MPNNs) leverage these latent relationships embedded in graph structures, and have become widely adopted across diverse applications. However, many existing methods predominantly rely on local information within the $1$-hop neighborhood. This approach has notable limitations; for example, $1$-hop aggregation schemes inherently lose long-distance information, and are limited in expressive power as defined by the $k$-Weisfeiler-Leman ($k$-WL) isomorphism test. To address these issues, we propose the Higher Order Graphical Attention (HoGA) module, which assigns weights to variable-length paths sampled based on feature-vector diversity, effectively reconstructing the $k$-hop neighborhood. HoGA represents higher-order relationships as a robust form of self-attention, applicable to any single-hop attention mechanism. In empirical studies, applying HoGA to existing attention-based models consistently leads to significant accuracy improvements on benchmark node classification datasets. Furthermore, we observe that the performance degradation typically associated with additional message-passing steps may be mitigated.
- Abstract（参考訳）: グラフは本質的に、トポロジ構造を通じてノードまたは変数間の依存関係をキャプチャする。
メッセージパッシングニューラルネットワーク(MPNN)は、グラフ構造に埋め込まれたこれらの潜伏関係を利用しており、様々なアプリケーションで広く採用されている。
しかし、既存の多くの手法は、主に1ドルのホップ地区内のローカル情報に依存している。
例えば、$$$-hopアグリゲーションスキームは本質的に長距離情報を失い、$k$-Weisfeiler-Leman(k$-WL)同型テストで定義される表現力に制限がある。
これらの問題に対処するために,特徴ベクトルの多様性に基づいた可変長経路に重みを割り当て,$k$-hop地区を効果的に再構築する高次グラフ注意(HoGA)モジュールを提案する。
HoGAは、高次の関係を、いかなるシングルホップアテンション機構にも適用可能な、堅牢な自己意識の形式として表現している。
実証的研究では、HoGAを既存の注意ベースモデルに適用すると、ベンチマークノード分類データセットの精度が大幅に向上する。
さらに、通常、追加のメッセージパッシングステップに関連付けられた性能劣化が軽減される可能性があることを観察する。
関連論文リスト
- Efficient Topology-aware Data Augmentation for High-Degree Graph Neural Networks [2.7523980737007414]
高次グラフ(HDG)上のグラフニューラルネットワーク(GNN)のための効率的かつ効果的なフロントマウントデータ拡張フレームワークであるTADを提案する。
内部では、(i)構造埋め込みによる機能拡張と(ii)トポロジと属性対応グラフのスパース化という、2つの重要なモジュールが含まれている。
TADAは、ノード分類の観点から8つの実ホモ親和性/ヘテロ親和性HDG上でのメインストリームGNNモデルの予測性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-06-08T14:14:19Z) - BOURNE: Bootstrapped Self-supervised Learning Framework for Unified
Graph Anomaly Detection [50.26074811655596]
自己指導型自己学習(BOURNE)に基づく新しい統合グラフ異常検出フレームワークを提案する。
ノードとエッジ間のコンテキスト埋め込みを交換することで、ノードとエッジの異常を相互に検出できる。
BOURNEは、負のサンプリングを必要としないため、大きなグラフを扱う際の効率を高めることができる。
論文 参考訳（メタデータ） (2023-07-28T00:44:57Z) - Addressing Heterophily in Node Classification with Graph Echo State
Networks [11.52174067809364]
ノード分類のためのグラフエコー状態ネットワーク(GESN)を用いた異種グラフの課題に対処する。
GESNはグラフのための貯水池計算モデルであり、ノードの埋め込みは訓練されていないメッセージパッシング関数によって計算される。
実験の結果, 貯水池モデルでは, ほぼ完全に訓練された深層モデルに対して, より優れた精度あるいは同等の精度が得られることがわかった。
論文 参考訳（メタデータ） (2023-05-14T19:42:31Z) - Generating Post-hoc Explanations for Skip-gram-based Node Embeddings by
Identifying Important Nodes with Bridgeness [19.448849238643582]
DeepWalk、LINE、struc2vec、PTE、UserItem2vec、RWJBGなどの教師なしノード埋め込みメソッドがSkip-gramモデルから登場した。
本稿では,Skip-gramをベースとした埋め込みのグローバルな説明は,スペクトルクラスタを意識した局所摂動下でのブリッジネスの計算によって得られることを示す。
Graph-wGD と呼ばれる新しい勾配に基づく説明法を提案し,学習グラフ埋め込みベクトルのグローバルな説明をより効率的に行えるようにした。
論文 参考訳（メタデータ） (2023-04-24T12:25:35Z) - Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。
科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文 参考訳（メタデータ） (2022-05-15T11:38:14Z) - Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。
そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
論文 参考訳（メタデータ） (2021-11-19T08:54:21Z) - Hierarchical graph neural nets can capture long-range interactions [8.067880298298185]
与えられたグラフの多重解像度表現を利用する階層的メッセージパッシングモデルについて検討する。
これにより、ローカル情報を失うことなく、大きな受容領域にまたがる特徴の学習が容易になる。
階層グラフネット(HGNet)を導入し、任意の2つの接続ノードに対して、最大対数長のメッセージパスパスが存在することを保証します。
論文 参考訳（メタデータ） (2021-07-15T16:24:22Z) - Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural
Networks [68.9026534589483]
RioGNNはReinforceed, recursive, flexible neighborhood selection guided multi-relational Graph Neural Network architectureである。
RioGNNは、各関係の個々の重要性の認識により、説明性を高めた差別的なノード埋め込みを学ぶことができる。
論文 参考訳（メタデータ） (2021-04-16T04:30:06Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z) - Pointer Graph Networks [48.44209547013781]
グラフニューラルネットワーク(GNN)は通常、前もって知られていると仮定される静的グラフに適用される。
Pointer Graph Networks (PGNs) モデル一般化能力を改善するために、追加の推論エッジを備えた拡張セットまたはグラフ。
PGNは各ノードが別のノードを動的に指し、メッセージがこれらのポインタを渡ることを可能にする。
論文 参考訳（メタデータ） (2020-06-11T12:52:31Z) - Unifying Graph Convolutional Neural Networks and Label Propagation [73.82013612939507]
LPAとGCNの関係を特徴・ラベルの平滑化と特徴・ラベルの影響の2点の観点から検討した。
理論解析に基づいて,ノード分類のためのGCNとLCAを統一するエンドツーエンドモデルを提案する。
我々のモデルは、既存の特徴に基づく注目モデルよりもタスク指向のノードラベルに基づく学習注意重みと見なすこともできる。
論文 参考訳（メタデータ） (2020-02-17T03:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。