論文の概要: Characterizing Massive Activations of Attention Mechanism in Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2409.03463v2
- Date: Tue, 24 Sep 2024 09:13:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 23:23:02.502708
- Title: Characterizing Massive Activations of Attention Mechanism in Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークにおける注意機構の大量活性化特性
- Authors: Lorenzo Bini, Marco Sorbi, Stephane Marchand-Maillet,
- Abstract要約: 近年、複雑なパターンをキャプチャする能力を改善するため、注意機構がグラフニューラルネットワーク(GNN)に統合されている。
本稿では,注意層内におけるMA(Massive Activations)の出現を明らかにした最初の総合的研究について述べる。
本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,GNNモデルの評価を行う。
- 参考スコア（独自算出の注目度）: 0.9499648210774584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) have become increasingly popular for effectively modeling data with graph structures. Recently, attention mechanisms have been integrated into GNNs to improve their ability to capture complex patterns. This paper presents the first comprehensive study revealing a critical, unexplored consequence of this integration: the emergence of Massive Activations (MAs) within attention layers. We introduce a novel method for detecting and analyzing MAs, focusing on edge features in different graph transformer architectures. Our study assesses various GNN models using benchmark datasets, including ZINC, TOX21, and PROTEINS. Key contributions include (1) establishing the direct link between attention mechanisms and MAs generation in GNNs, (2) developing a robust definition and detection method for MAs based on activation ratio distributions, (3) introducing the Explicit Bias Term (EBT) as a potential countermeasure and exploring it as an adversarial framework to assess models robustness based on the presence or absence of MAs. Our findings highlight the prevalence and impact of attention-induced MAs across different architectures, such as GraphTransformer, GraphiT, and SAN. The study reveals the complex interplay between attention mechanisms, model architecture, dataset characteristics, and MAs emergence, providing crucial insights for developing more robust and reliable graph models.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造を持つデータを効果的にモデル化する手段として、ますます人気が高まっている。
近年,複雑なパターンを捉える能力を向上させるため,注意機構がGNNに統合されている。
本稿では,この統合の重要かつ未解明な結果である注意層内における大量活動(MA)の出現を明らかにするための,最初の総合的研究について述べる。
本稿では,異なるグラフトランスアーキテクチャにおけるエッジ特徴に着目し,MAの検出と解析を行う新しい手法を提案する。
本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,GNNモデルの評価を行う。
主な貢献は,(1)GNNにおける注意機構とMAs生成の直接リンクを確立すること,(2)アクティベーション比分布に基づくMAのロバスト定義と検出方法を開発すること,(3)潜在的な対策としてEBT(Explicit Bias Term)を導入すること,および,MAsの有無に基づいてロバスト性モデルを評価するための対角的枠組みとして探索することである。
本研究は,GraphTransformer,GraphiT,SANなど,異なるアーキテクチャにおける注意誘導型MAの出現と影響を明らかにする。
この研究は、注意機構、モデルアーキテクチャ、データセットの特徴、MAの出現の間の複雑な相互作用を明らかにし、より堅牢で信頼性の高いグラフモデルを開発する上で重要な洞察を提供する。
関連論文リスト
- Node Classification via Semantic-Structural Attention-Enhanced Graph Convolutional Networks [0.9463895540925061]
SSA-GCN(Semantic-structure attention-enhanced graph convolutional Network)を導入する。
グラフ構造をモデル化するだけでなく、分類性能を高めるために一般化されていない特徴を抽出する。
Cora と CiteSeer のデータセットに対する実験により,提案手法による性能改善が実証された。
論文 参考訳（メタデータ） (2024-03-24T06:28:54Z) - Investigating Out-of-Distribution Generalization of GNNs: An
Architecture Perspective [45.352741792795186]
グラフ自己アテンション機構と疎結合アーキテクチャはグラフOOD一般化に肯定的に寄与することを示す。
我々は,グラフ自己保持機構と疎結合アーキテクチャの両方の堅牢性を活用するために,新しいGNNバックボーンモデルDGATを開発した。
論文 参考訳（メタデータ） (2024-02-13T05:38:45Z) - Enhanced LFTSformer: A Novel Long-Term Financial Time Series Prediction Model Using Advanced Feature Engineering and the DS Encoder Informer Architecture [0.8532753451809455]
本研究では,拡張LFTSformerと呼ばれる長期金融時系列の予測モデルを提案する。
このモデルは、いくつかの重要なイノベーションを通じて、自分自身を区別する。
さまざまなベンチマークストックマーケットデータセットに関するシステマティックな実験は、強化LFTSformerが従来の機械学習モデルより優れていることを示している。
論文 参考訳（メタデータ） (2023-10-03T08:37:21Z) - Causally-guided Regularization of Graph Attention Improves
Generalizability [69.09877209676266]
本稿では,グラフアテンションネットワークのための汎用正規化フレームワークであるCARを紹介する。
メソッド名は、グラフ接続に対するアクティブ介入の因果効果とアテンションメカニズムを一致させる。
ソーシャル・メディア・ネットワーク規模のグラフでは、CAR誘導グラフ再構成アプローチにより、グラフの畳み込み手法のスケーラビリティとグラフの注意力の向上を両立させることができる。
論文 参考訳（メタデータ） (2022-10-20T01:29:10Z) - Heterogeneous Graph Neural Networks using Self-supervised Reciprocally
Contrastive Learning [102.9138736545956]
不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。
我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。
この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
論文 参考訳（メタデータ） (2022-04-30T12:57:02Z) - EXPERT: Public Benchmarks for Dynamic Heterogeneous Academic Graphs [5.4744970832051445]
グラフ予測タスクのために開発されたモデルの有効性を検証するために,大規模で動的に異種な学術グラフを提案する。
我々の新しいデータセットは、人工知能(AI)と核拡散(NN)の2つのコミュニティにわたる科学出版物から抽出された文脈情報と内容情報の両方をカバーしている。
論文 参考訳（メタデータ） (2022-04-14T19:43:34Z) - How Knowledge Graph and Attention Help? A Quantitative Analysis into
Bag-level Relation Extraction [66.09605613944201]
バッグレベルの関係抽出(RE)における注意と知識グラフの効果を定量的に評価する。
その結果,(1)注目精度の向上は,エンティティ参照特徴を抽出するモデルの性能を損なう可能性があること,(2)注目性能は様々なノイズ分布パターンの影響が大きいこと,(3)KG強化された注目はRE性能を向上するが,その効果は注目度を向上させるだけでなく,先行するエンティティを組み込むことによっても改善することがわかった。
論文 参考訳（メタデータ） (2021-07-26T09:38:28Z) - Deep brain state classification of MEG data [2.9048924265579124]
本稿では、Human Connectome Project(HCP)が提供するMEGデータと、様々な深層ニューラルネットワークモデルを組み合わせて脳復号を行う。
論文 参考訳（メタデータ） (2020-07-02T05:51:57Z) - Graph Backdoor [53.70971502299977]
GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。
GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。
トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
論文 参考訳（メタデータ） (2020-06-21T19:45:30Z) - Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。
MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。
我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
論文 参考訳（メタデータ） (2020-05-17T04:46:07Z) - Graph Representation Learning via Graphical Mutual Information
Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。
我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文 参考訳（メタデータ） (2020-02-04T08:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。