論文の概要: Faithful and Accurate Self-Attention Attribution for Message Passing Neural Networks via the Computation Tree Viewpoint

• arxiv url: http://arxiv.org/abs/2406.04612v2
• Date: Fri, 20 Dec 2024 11:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:22:37.392655
• Title: Faithful and Accurate Self-Attention Attribution for Message Passing Neural Networks via the Computation Tree Viewpoint
• Title（参考訳）: 計算木視点によるメッセージパッシングニューラルネットワークの忠実かつ正確な自己注意属性
• Authors: Yong-Min Shin, Siqing Li, Xin Cao, Won-Yong Shin,
• Abstract要約: 計算木に基づく自己注意型MPNNのエッジ属性計算法であるGATTを提案する。 その単純さにもかかわらず、モデル説明の3つの側面において、GATTの有効性を実証的に示す。
• 参考スコア（独自算出の注目度）: 11.459893079664578
• License:
• Abstract: The self-attention mechanism has been adopted in various popular message passing neural networks (MPNNs), enabling the model to adaptively control the amount of information that flows along the edges of the underlying graph. Such attention-based MPNNs (Att-GNNs) have also been used as a baseline for multiple studies on explainable AI (XAI) since attention has steadily been seen as natural model interpretations, while being a viewpoint that has already been popularized in other domains (e.g., natural language processing and computer vision). However, existing studies often use naive calculations to derive attribution scores from attention, undermining the potential of attention as interpretations for Att-GNNs. In our study, we aim to fill the gap between the widespread usage of Att-GNNs and their potential explainability via attention. To this end, we propose GATT, edge attribution calculation method for self-attention MPNNs based on the computation tree, a rooted tree that reflects the computation process of the underlying model. Despite its simplicity, we empirically demonstrate the effectiveness of GATT in three aspects of model explanation: faithfulness, explanation accuracy, and case studies by using both synthetic and real-world benchmark datasets. In all cases, the results demonstrate that GATT greatly improves edge attribution scores, especially compared to the previous naive approach. Our code is available at https://github.com/jordan7186/GAtt.
• Abstract（参考訳）: 自己認識メカニズムは、さまざまな一般的なメッセージパッシングニューラルネットワーク(MPNN)で採用されており、基盤となるグラフの端に沿って流れる情報の量を適応的に制御することができる。 このような注目ベースのMPNN(Att-GNN)も、説明可能なAI(XAI)に関する複数の研究のベースラインとして使われてきた。 しかし、既存の研究では、アトリビューションスコアを注意から導き出すために単純な計算を用いており、Att-GNNの解釈としての注意の可能性を損なう。 本研究では,Att-GNNの広汎な利用と,注意による潜在的な説明可能性とのギャップを埋めることを目的としている。 この目的のために,本論文では,基本モデルの計算過程を反映したルート木である計算木に基づく自己注意MPNNのエッジ属性計算手法であるGATTを提案する。 その単純さにもかかわらず、GATTの有効性をモデル説明の3つの側面(忠実性、説明精度、および実世界のベンチマークデータセットを用いたケーススタディ)で実証的に実証した。 いずれの場合も,GATTは前回のナイーブアプローチと比較して,エッジ属性スコアを大幅に改善することが示された。 私たちのコードはhttps://github.com/jordan7186/GAtt.comで公開されています。

関連論文リスト

• Towards Fair Graph Representation Learning in Social Networks [20.823461673845756]
  本稿では, 十分性, 自立性, 分離性という3つの原則に基づいて, 公正表現学習の制約を導入する。 EAGNN法がグループフェアネスを効果的に達成できることを理論的に実証する。
  論文  参考訳（メタデータ） (2024-10-15T10:57:02Z)
• PROXI: Challenging the GNNs for Link Prediction [3.8233569758620063]
  本稿では,グラフと属性空間の両方におけるノードペアの近接情報を活用するPROXIを紹介する。 標準機械学習(ML)モデルは競争力があり、最先端のGNNモデルよりも優れています。 ProXIによる従来のGNNの拡張はリンク予測性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:57:38Z)
• Kolmogorov-Arnold Graph Neural Networks [2.4005219869876453]
  グラフニューラルネットワーク(GNN)は、ネットワークのようなデータから学習する上で優れるが、解釈性に欠けることが多い。 本稿では,GKAN(Graph Kolmogorov-Arnold Network)を提案する。
  論文  参考訳（メタデータ） (2024-06-26T13:54:59Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
  トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。 このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。 本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:57:18Z)
• Graph Backdoor [53.70971502299977]
  GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。 GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。 トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
  論文  参考訳（メタデータ） (2020-06-21T19:45:30Z)
• Node Masking: Making Graph Neural Networks Generalize and Scale Better [71.51292866945471]
  グラフニューラルネットワーク(GNN)は近年,多くの関心を集めている。 本稿では,芸術空間のGNNの状態によって実行される操作をよりよく可視化するために,いくつかの理論ツールを利用する。 私たちはNode Maskingというシンプルなコンセプトを導入しました。
  論文  参考訳（メタデータ） (2020-01-17T06:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。