論文の概要: Revisiting Attention Weights as Interpretations of Message-Passing Neural Networks

• arxiv url: http://arxiv.org/abs/2406.04612v1
• Date: Fri, 7 Jun 2024 03:40:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 15:39:08.286777
• Title: Revisiting Attention Weights as Interpretations of Message-Passing Neural Networks
• Title（参考訳）: メッセージパッシングニューラルネットワークの解釈としての注意重みの再検討
• Authors: Yong-Min Shin, Siqing Li, Xin Cao, Won-Yong Shin,
• Abstract要約: いくつかの広く使われているメッセージパッシングニューラルネットワーク(MPNN)では自己注意機構が採用されている この注意の活用により、そのようなモデルは説明可能なAI(XAI)の研究のベースラインとなった。 本研究の目的は,注目機能付きMPNNの広汎な利用と,大半が未探索な説明可能性におけるその可能性とのギャップを埋めることである。
• 参考スコア（独自算出の注目度）: 11.459893079664578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The self-attention mechanism has been adopted in several widely-used message-passing neural networks (MPNNs) (e.g., GATs), which adaptively controls the amount of information that flows along the edges of the underlying graph. This usage of attention has made such models a baseline for studies on explainable AI (XAI) since interpretations via attention have been popularized in various domains (e.g., natural language processing and computer vision). However, existing studies often use naive calculations to derive attribution scores from attention, and do not take the precise and careful calculation of edge attribution into consideration. In our study, we aim to fill the gap between the widespread usage of attention-enabled MPNNs and their potential in largely under-explored explainability, a topic that has been actively investigated in other areas. To this end, as the first attempt, we formalize the problem of edge attribution from attention weights in GNNs. Then, we propose GATT, an edge attribution calculation method built upon the computation tree. Through comprehensive experiments, we demonstrate the effectiveness of our proposed method when evaluating attributions from GATs. Conversely, we empirically validate that simply averaging attention weights over graph attention layers is insufficient to interpret the GAT model's behavior. Code is publicly available at https://github.com/jordan7186/GAtt/tree/main.
• Abstract（参考訳）: この自己認識機構は、基礎となるグラフの端に沿って流れる情報の量を適応的に制御する、広く使われているメッセージパッシングニューラルネットワーク(MPNN)(例:GAT)で採用されている。 このような注意力を用いたモデルは、様々な領域(自然言語処理やコンピュータビジョンなど)で注目による解釈が普及しているため、説明可能なAI(XAI)の研究のベースラインとなっている。 しかし、既存の研究では、しばしば注意から帰属スコアを導き出すために単純計算を用いており、エッジ帰属の正確かつ慎重な計算を考慮に入れていない。 本研究は,注目機能付きMPNNの広範利用と,その可能性とのギャップを埋めることを目的としている。 この目的のために、最初の試みとして、GNNにおける注意重みによるエッジ属性の問題の定式化を行う。 そこで,計算木上に構築したエッジ属性計算手法GATTを提案する。 総合的な実験を通じて,GATの属性評価における提案手法の有効性を実証する。 逆に、グラフ注意層上での注意重み平均化は、GATモデルの振舞いを解釈するには不十分であることを実証的に検証する。 コードはhttps://github.com/jordan7186/GAtt/tree/mainで公開されている。

関連論文リスト

• Towards Fair Graph Representation Learning in Social Networks [20.823461673845756]
  本稿では, 十分性, 自立性, 分離性という3つの原則に基づいて, 公正表現学習の制約を導入する。 EAGNN法がグループフェアネスを効果的に達成できることを理論的に実証する。
  論文  参考訳（メタデータ） (2024-10-15T10:57:02Z)
• PROXI: Challenging the GNNs for Link Prediction [3.8233569758620063]
  本稿では,グラフと属性空間の両方におけるノードペアの近接情報を活用するPROXIを紹介する。 標準機械学習(ML)モデルは競争力があり、最先端のGNNモデルよりも優れています。 ProXIによる従来のGNNの拡張はリンク予測性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:57:38Z)
• Kolmogorov-Arnold Graph Neural Networks [2.4005219869876453]
  グラフニューラルネットワーク(GNN)は、ネットワークのようなデータから学習する上で優れるが、解釈性に欠けることが多い。 本稿では,GKAN(Graph Kolmogorov-Arnold Network)を提案する。
  論文  参考訳（メタデータ） (2024-06-26T13:54:59Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
  トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。 このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。 本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:57:18Z)
• Graph Backdoor [53.70971502299977]
  GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。 GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。 トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
  論文  参考訳（メタデータ） (2020-06-21T19:45:30Z)
• Node Masking: Making Graph Neural Networks Generalize and Scale Better [71.51292866945471]
  グラフニューラルネットワーク(GNN)は近年,多くの関心を集めている。 本稿では,芸術空間のGNNの状態によって実行される操作をよりよく可視化するために,いくつかの理論ツールを利用する。 私たちはNode Maskingというシンプルなコンセプトを導入しました。
  論文  参考訳（メタデータ） (2020-01-17T06:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。