論文の概要: Not All Neighbors Are Worth Attending to: Graph Selective Attention
Networks for Semi-supervised Learning
- arxiv url: http://arxiv.org/abs/2210.07715v1
- Date: Fri, 14 Oct 2022 11:28:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 17:18:03.587976
- Title: Not All Neighbors Are Worth Attending to: Graph Selective Attention
Networks for Semi-supervised Learning
- Title(参考訳): 半教師付き学習のためのグラフ選択的注意ネットワーク
- Authors: Tiantian He, Haicang Zhou, Yew-Soon Ong, Gao Cong
- Abstract要約: グラフアテンションネットワーク(GAT)は、さまざまな現実シナリオからグラフデータを分析するための強力なツールである。
隣人の大部分が実世界の多くのグラフの中央ノードとは無関係であり、隣人の集約から除外できることを示す。
高い相関ノード特徴から表現を学習するためのグラフ選択型アテンションネットワーク(SAT)を提案する。
- 参考スコア(独自算出の注目度): 37.20604257135713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph attention networks (GATs) are powerful tools for analyzing graph data
from various real-world scenarios. To learn representations for downstream
tasks, GATs generally attend to all neighbors of the central node when
aggregating the features. In this paper, we show that a large portion of the
neighbors are irrelevant to the central nodes in many real-world graphs, and
can be excluded from neighbor aggregation. Taking the cue, we present Selective
Attention (SA) and a series of novel attention mechanisms for graph neural
networks (GNNs). SA leverages diverse forms of learnable node-node
dissimilarity to acquire the scope of attention for each node, from which
irrelevant neighbors are excluded. We further propose Graph selective attention
networks (SATs) to learn representations from the highly correlated node
features identified and investigated by different SA mechanisms. Lastly,
theoretical analysis on the expressive power of the proposed SATs and a
comprehensive empirical study of the SATs on challenging real-world datasets
against state-of-the-art GNNs are presented to demonstrate the effectiveness of
SATs.
- Abstract(参考訳): グラフアテンションネットワーク(GAT)は、さまざまな現実シナリオからグラフデータを分析するための強力なツールである。
下流タスクの表現を学習するために、GATは通常、機能を集約する際、中央ノードのすべての隣人に出席する。
本稿では,多くの実世界のグラフにおいて,近隣のノードの大部分は中心ノードとは無関係であり,隣接する集約から除外できることを示す。
本稿では,グラフニューラルネットワーク(GNN)における選択注意(Selective Attention,SA)と新たな注意機構について述べる。
saは、学習可能なノードノードの異種性を利用して、無関係な隣人を排除する各ノードの注意の範囲を取得する。
さらに,異なるSA機構によって識別・調査された高相関ノード特徴から表現を学習するために,グラフ選択型アテンションネットワーク(SAT)を提案する。
最後に,提案するsatの表現力に関する理論的解析と,最先端gnnに対する実世界データセットに対するsatの包括的実証研究を行い,satの有効性を実証した。
関連論文リスト
- DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳(メタデータ) (2024-01-28T06:43:13Z) - Mitigating Semantic Confusion from Hostile Neighborhood for Graph Active
Learning [38.5372139056485]
Graph Active Learning(GAL)は、グラフニューラルネットワーク(GNN)のパフォーマンスを最大化するためのアノテーションのための、グラフで最も情報に富むノードを見つけることを目的としている。
Gal戦略は、特にグラフがノイズの多い場合、選択したトレーニングセットに意味的な混乱をもたらす可能性がある。
本稿では,意味的混乱を緩和するために,グラフのためのセマンティック・アウェア・アクティブ・ラーニング・フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-17T07:06:54Z) - Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。
科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文 参考訳(メタデータ) (2022-05-15T11:38:14Z) - Reasoning Graph Networks for Kinship Verification: from Star-shaped to
Hierarchical [85.0376670244522]
階層型推論グラフネットワークの学習による顔の親和性検証の問題点について検討する。
より強力で柔軟なキャパシティを利用するために,星型推論グラフネットワーク(S-RGN)を開発した。
また、より強力で柔軟なキャパシティを利用する階層型推論グラフネットワーク(H-RGN)も開発しています。
論文 参考訳(メタデータ) (2021-09-06T03:16:56Z) - Self-supervised Consensus Representation Learning for Attributed Graph [15.729417511103602]
グラフ表現学習に自己教師付き学習機構を導入する。
本稿では,新しい自己教師型コンセンサス表現学習フレームワークを提案する。
提案手法はトポロジグラフと特徴グラフの2つの視点からグラフを扱う。
論文 参考訳(メタデータ) (2021-08-10T07:53:09Z) - CAGNN: Cluster-Aware Graph Neural Networks for Unsupervised Graph
Representation Learning [19.432449825536423]
教師なしグラフ表現学習は、教師なしの低次元ノード埋め込みを学習することを目的としている。
本稿では、自己教師付き手法を用いた教師なしグラフ表現学習のための新しいクラスタ対応グラフニューラルネットワーク(CAGNN)モデルを提案する。
論文 参考訳(メタデータ) (2020-09-03T13:57:18Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳(メタデータ) (2020-08-31T23:15:40Z) - Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。
GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
論文 参考訳(メタデータ) (2020-06-23T04:13:23Z) - Self-Supervised Graph Representation Learning via Global Context
Prediction [31.07584920486755]
本稿では,データ自体による自然監督を利用して,グラフ表現学習のための新たな自己教師型戦略を提案する。
グラフ内のノードのペアをランダムに選択し、よく設計されたニューラルネットをトレーニングし、一方のノードのコンテキスト位置を他方と相対的に予測する。
我々の仮説は、そのようなグラフ内コンテキストから得られた表現はグラフのグローバルなトポロジーを捉え、ノード間の類似性と区別を微妙に特徴づける、というものである。
論文 参考訳(メタデータ) (2020-03-03T15:46:01Z) - Graph Neighborhood Attentive Pooling [0.5493410630077189]
ネットワーク表現学習(NRL)は,高次元およびスパースグラフの低次元ベクトル表現を学習するための強力な手法である。
本稿では,ノード近傍の異なる部分への入場を注意型プールネットワークを用いて学習するGAPと呼ばれる新しい文脈依存アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-01-28T15:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。