論文の概要: Causal-Based Supervision of Attention in Graph Neural Network: A Better
and Simpler Choice towards Powerful Attention
- arxiv url: http://arxiv.org/abs/2305.13115v1
- Date: Mon, 22 May 2023 15:13:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 15:06:28.584875
- Title: Causal-Based Supervision of Attention in Graph Neural Network: A Better
and Simpler Choice towards Powerful Attention
- Title（参考訳）: グラフニューラルネットワークにおける注意の因果的スーパービジョン:強力な注意へのより良い、より単純な選択
- Authors: Hongjun Wang, Jiyuan Chen, Lun Du, Qiang Fu, Shi Han, Xuan Song
- Abstract要約: 本稿では,注意関数の学習プロセスに強力な監視信号を提供するために,因果関係のツールを利用する新しいフレームワークを提案する。
本手法は,任意の標準注目型GNNに対して,エンドツーエンドでプラグイン・アンド・プレイモジュールとして機能する。
- 参考スコア（独自算出の注目度）: 20.83749008351393
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, attention mechanisms have demonstrated significant potential
in the field of graph representation learning. However, while variants of
attention-based GNNs are setting new benchmarks for numerous real-world
datasets, recent works have pointed out that their induced attentions are less
robust and generalizable against noisy graphs due to the lack of direct
supervision. In this paper, we present a new framework that utilizes the tool
of causality to provide a powerful supervision signal for the learning process
of attention functions. Specifically, we estimate the direct causal effect of
attention on the final prediction and then maximize such effect to guide
attention to attend to more meaningful neighbors. Our method can serve as a
plug-and-play module for any canonical attention-based GNNs in an end-to-end
fashion. Extensive experiments on a wide range of benchmark datasets
illustrated that, by directly supervising attention with our method, the model
is able to converge faster with a clearer decision boundary, and thus yields
better performances.
- Abstract（参考訳）: 近年,注意機構はグラフ表現学習の分野において大きな可能性を示している。
しかしながら、注目に基づくGNNの変種は、多くの実世界のデータセットに対して新しいベンチマークを設定しているが、最近の研究は、彼らの誘導された注意は、直接監督が欠如しているため、ノイズの多いグラフに対してより堅牢で一般化可能であることを指摘している。
本稿では,注意関数の学習プロセスに強力な監視信号を提供するために,因果関係のツールを利用する新しいフレームワークを提案する。
具体的には,最終予測に対する注意の直接的因果効果を推定し,その効果を最大化し,より有意義な隣人に注意を誘導する。
本手法は,任意の標準注目型GNNに対して,エンドツーエンドでプラグイン・アンド・プレイモジュールとして機能する。
ベンチマークデータセットの広範囲な実験により,本手法で直接注意を集中することで,より明確な決定境界でより高速に収束し,より優れた性能が得られることを示した。
関連論文リスト
- Representation Learning on Heterophilic Graph with Directional
Neighborhood Attention [8.493802098034255]
Graph Attention Network(GAT)は、最も人気のあるGraph Neural Network(GNN)アーキテクチャの1つである。
GATは、長距離およびグローバルグラフ情報をキャプチャする能力に欠けており、いくつかのデータセットで不満足なパフォーマンスをもたらす。
本稿では,特徴に基づく注意と,グラフトポロジから抽出したグローバルな方向性情報を組み合わせるために,DGAT(Directional Graph Attention Network)を提案する。
論文 参考訳（メタデータ） (2024-03-03T10:59:16Z) - Masked Attention is All You Need for Graphs [9.342468531778874]
Masked attention for graphs (MAG) is a state-of-the-art performance on long-range task。
グラフニューラルネットワーク(GNN)と比較すると,転送学習能力が大幅に向上し,時間とメモリのスケーリングが向上した。
論文 参考訳（メタデータ） (2024-02-16T16:20:11Z) - Causally-guided Regularization of Graph Attention Improves
Generalizability [69.09877209676266]
本稿では,グラフアテンションネットワークのための汎用正規化フレームワークであるCARを紹介する。
メソッド名は、グラフ接続に対するアクティブ介入の因果効果とアテンションメカニズムを一致させる。
ソーシャル・メディア・ネットワーク規模のグラフでは、CAR誘導グラフ再構成アプローチにより、グラフの畳み込み手法のスケーラビリティとグラフの注意力の向上を両立させることができる。
論文 参考訳（メタデータ） (2022-10-20T01:29:10Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Beyond the Gates of Euclidean Space: Temporal-Discrimination-Fusions and
Attention-based Graph Neural Network for Human Activity Recognition [5.600003119721707]
ウェアラブルデバイスによるヒューマンアクティビティ認識(HAR)は、フィットネストラッキング、ウェルネススクリーニング、生活支援など多くの応用により、大きな関心を集めている。
従来のディープラーニング(DL)は、HARドメインのアートパフォーマンスの状態を規定している。
提案手法はグラフニューラルネットワーク(GNN)を用いて,入力表現を構造化し,サンプル間の関係性を利用する手法である。
論文 参考訳（メタデータ） (2022-06-10T03:04:23Z) - Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。
事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。
様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
論文 参考訳（メタデータ） (2021-10-25T00:54:57Z) - FDGATII : Fast Dynamic Graph Attention with Initial Residual and
Identity Mapping [0.39373541926236766]
本稿では,注目機構が選択情報に注目する能力に触発された新しいグラフニューラルネットワークFDGATIIを提案する。
FDG ATII は設計において本質的に並列化可能であり、操作ではホイット効率がよい。
FDG ATII は GAT と GCN をベースとしたベンチマークにおいて,完全教師付きタスクの精度と性能に優れることを示す。
論文 参考訳（メタデータ） (2021-10-21T20:19:17Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳（メタデータ） (2020-07-18T01:11:14Z) - Fast Graph Attention Networks Using Effective Resistance Based Graph
Sparsification [70.50751397870972]
FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。
我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
論文 参考訳（メタデータ） (2020-06-15T22:07:54Z) - Spectral Graph Attention Network with Fast Eigen-approximation [103.93113062682633]
スペクトルグラフ注意ネットワーク(SpGAT)は、重み付きフィルタとグラフウェーブレットベースに関する異なる周波数成分の表現を学習する。
固有分解による計算コストを削減するために,高速近似変種SpGAT-Chebyを提案する。
半教師付きノード分類タスクにおけるSpGATとSpGAT-Chebyの性能を徹底的に評価する。
論文 参考訳（メタデータ） (2020-03-16T21:49:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。