論文の概要: Massive Activations in Graph Neural Networks: Decoding Attention for Domain-Dependent Interpretability

• arxiv url: http://arxiv.org/abs/2409.03463v3
• Date: Fri, 07 Mar 2025 15:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:23:52.199702
• Title: Massive Activations in Graph Neural Networks: Decoding Attention for Domain-Dependent Interpretability
• Title（参考訳）: グラフニューラルネットワークにおける大規模アクティベーション:ドメイン依存の解釈可能性に対するデコードアテンション
• Authors: Lorenzo Bini, Marco Sorbi, Stephane Marchand-Maillet,
• Abstract要約: エッジ機能グラフニューラルネットワーク(GNN)における注意層内のマスアクティブ(MA)の出現を示す。 本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,エッジ機能付き注目型GNNモデルの評価を行う。
• 参考スコア（独自算出の注目度）: 0.9499648210774584
• License:
• Abstract: Graph Neural Networks (GNNs) have become increasingly popular for effectively modeling graph-structured data, and attention mechanisms have been pivotal in enabling these models to capture complex patterns. In our study, we reveal a critical yet underexplored consequence of integrating attention into edge-featured GNNs: the emergence of Massive Activations (MAs) within attention layers. By developing a novel method for detecting MAs on edge features, we show that these extreme activations are not only activation anomalies but encode domain-relevant signals. Our post-hoc interpretability analysis demonstrates that, in molecular graphs, MAs aggregate predominantly on common bond types (e.g., single and double bonds) while sparing more informative ones (e.g., triple bonds). Furthermore, our ablation studies confirm that MAs can serve as natural attribution indicators, reallocating to less informative edges. Our study assesses various edge-featured attention-based GNN models using benchmark datasets, including ZINC, TOX21, and PROTEINS. Key contributions include (1) establishing the direct link between attention mechanisms and MAs generation in edge-featured GNNs, (2) developing a robust definition and detection method for MAs enabling reliable post-hoc interpretability. Overall, our study reveals the complex interplay between attention mechanisms, edge-featured GNNs model, and MAs emergence, providing crucial insights for relating GNNs internals to domain knowledge.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データを効果的にモデル化する手段として、ますます人気が高まっている。 本研究では,エッジ機能付きGNN(Massive Activations:MAs)に注意を組み込むことによる,重要かつ未解明な結果を明らかにする。 エッジ特徴量からMAを検出する新しい手法を開発することにより,これらの極端なアクティベーションは,アクティベーション異常だけでなく,ドメイン関連信号のエンコードも可能であることを示す。 分子グラフでは、MAsは共有結合型(例えば、単結合、二重結合)に大きく依存する一方で、より有益な結合(例えば、三重結合)を分散することを示した。 さらに,我々のアブレーション研究は,MAが自然な帰属指標として機能し,情報の少ないエッジに再配置可能であることを確認した。 本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,エッジ機能付き注目型GNNモデルの評価を行う。 主な貢献は、(1)エッジ機能付きGNNにおける注意機構とMAs生成の直接リンクを確立すること、(2)信頼性の高いポストホック解釈を可能にするMAのロバストな定義と検出方法を開発することである。 本研究は,注意機構,エッジ機能付きGNNモデル,MAs出現の複雑な相互作用を明らかにし,GNNの内部とドメイン知識との関連性に関する重要な知見を提供する。

関連論文リスト

• Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers [0.0]
  変換器の注意機構をグラフ演算として再構成する。 スパース GIN-Attention はスパース GIN を用いた微調整手法である。
  論文  参考訳（メタデータ） (2025-01-04T22:30:21Z)
• Perturbation Ontology based Graph Attention Networks [26.95077612390953]
  Ontology-based Graph Attention Networks (POGAT) は、オントロジーのサブグラフと高度な自己教師付き学習パラダイムを組み合わせて、深い文脈理解を実現する新しい方法論である。 POGATは最先端のベースラインを大幅に上回り、リンク予測のクリティカルタスクはF1スコアで10.78%、ノード分類のクリティカルタスクはMicro-F1で12.01%という画期的な改善を実現している。
  論文  参考訳（メタデータ） (2024-11-27T17:12:14Z)
• Investigating Out-of-Distribution Generalization of GNNs: An Architecture Perspective [45.352741792795186]
  グラフ自己アテンション機構と疎結合アーキテクチャはグラフOOD一般化に肯定的に寄与することを示す。 我々は,グラフ自己保持機構と疎結合アーキテクチャの両方の堅牢性を活用するために,新しいGNNバックボーンモデルDGATを開発した。
  論文  参考訳（メタデータ） (2024-02-13T05:38:45Z)
• Causally-guided Regularization of Graph Attention Improves Generalizability [69.09877209676266]
  本稿では,グラフアテンションネットワークのための汎用正規化フレームワークであるCARを紹介する。 メソッド名は、グラフ接続に対するアクティブ介入の因果効果とアテンションメカニズムを一致させる。 ソーシャル・メディア・ネットワーク規模のグラフでは、CAR誘導グラフ再構成アプローチにより、グラフの畳み込み手法のスケーラビリティとグラフの注意力の向上を両立させることができる。
  論文  参考訳（メタデータ） (2022-10-20T01:29:10Z)
• Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning [102.9138736545956]
  不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。 我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。 この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
  論文  参考訳（メタデータ） (2022-04-30T12:57:02Z)
• EXPERT: Public Benchmarks for Dynamic Heterogeneous Academic Graphs [5.4744970832051445]
  グラフ予測タスクのために開発されたモデルの有効性を検証するために,大規模で動的に異種な学術グラフを提案する。 我々の新しいデータセットは、人工知能(AI)と核拡散(NN)の2つのコミュニティにわたる科学出版物から抽出された文脈情報と内容情報の両方をカバーしている。
  論文  参考訳（メタデータ） (2022-04-14T19:43:34Z)
• How Knowledge Graph and Attention Help? A Quantitative Analysis into Bag-level Relation Extraction [66.09605613944201]
  バッグレベルの関係抽出(RE)における注意と知識グラフの効果を定量的に評価する。 その結果,(1)注目精度の向上は,エンティティ参照特徴を抽出するモデルの性能を損なう可能性があること,(2)注目性能は様々なノイズ分布パターンの影響が大きいこと,(3)KG強化された注目はRE性能を向上するが,その効果は注目度を向上させるだけでなく,先行するエンティティを組み込むことによっても改善することがわかった。
  論文  参考訳（メタデータ） (2021-07-26T09:38:28Z)
• Deep brain state classification of MEG data [2.9048924265579124]
  本稿では、Human Connectome Project(HCP)が提供するMEGデータと、様々な深層ニューラルネットワークモデルを組み合わせて脳復号を行う。
  論文  参考訳（メタデータ） (2020-07-02T05:51:57Z)
• Graph Backdoor [53.70971502299977]
  GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。 GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。 トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
  論文  参考訳（メタデータ） (2020-06-21T19:45:30Z)
• Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
  マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。 MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。 我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
  論文  参考訳（メタデータ） (2020-05-17T04:46:07Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。