論文の概要: Faithful and Accurate Self-Attention Attribution for Message Passing Neural Networks via the Computation Tree Viewpoint

• arxiv url: http://arxiv.org/abs/2406.04612v2
• Date: Fri, 20 Dec 2024 11:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:22:37.392655
• Title: Faithful and Accurate Self-Attention Attribution for Message Passing Neural Networks via the Computation Tree Viewpoint
• Title（参考訳）: 計算木視点によるメッセージパッシングニューラルネットワークの忠実かつ正確な自己注意属性
• Authors: Yong-Min Shin, Siqing Li, Xin Cao, Won-Yong Shin,
• Abstract要約: 計算木に基づく自己注意型MPNNのエッジ属性計算法であるGATTを提案する。 その単純さにもかかわらず、モデル説明の3つの側面において、GATTの有効性を実証的に示す。
• 参考スコア（独自算出の注目度）: 11.459893079664578
• License:
• Abstract: The self-attention mechanism has been adopted in various popular message passing neural networks (MPNNs), enabling the model to adaptively control the amount of information that flows along the edges of the underlying graph. Such attention-based MPNNs (Att-GNNs) have also been used as a baseline for multiple studies on explainable AI (XAI) since attention has steadily been seen as natural model interpretations, while being a viewpoint that has already been popularized in other domains (e.g., natural language processing and computer vision). However, existing studies often use naive calculations to derive attribution scores from attention, undermining the potential of attention as interpretations for Att-GNNs. In our study, we aim to fill the gap between the widespread usage of Att-GNNs and their potential explainability via attention. To this end, we propose GATT, edge attribution calculation method for self-attention MPNNs based on the computation tree, a rooted tree that reflects the computation process of the underlying model. Despite its simplicity, we empirically demonstrate the effectiveness of GATT in three aspects of model explanation: faithfulness, explanation accuracy, and case studies by using both synthetic and real-world benchmark datasets. In all cases, the results demonstrate that GATT greatly improves edge attribution scores, especially compared to the previous naive approach. Our code is available at https://github.com/jordan7186/GAtt.
• Abstract（参考訳）: 自己認識メカニズムは、さまざまな一般的なメッセージパッシングニューラルネットワーク(MPNN)で採用されており、基盤となるグラフの端に沿って流れる情報の量を適応的に制御することができる。 このような注目ベースのMPNN(Att-GNN)も、説明可能なAI(XAI)に関する複数の研究のベースラインとして使われてきた。 しかし、既存の研究では、アトリビューションスコアを注意から導き出すために単純な計算を用いており、Att-GNNの解釈としての注意の可能性を損なう。 本研究では,Att-GNNの広汎な利用と,注意による潜在的な説明可能性とのギャップを埋めることを目的としている。 この目的のために,本論文では,基本モデルの計算過程を反映したルート木である計算木に基づく自己注意MPNNのエッジ属性計算手法であるGATTを提案する。 その単純さにもかかわらず、GATTの有効性をモデル説明の3つの側面(忠実性、説明精度、および実世界のベンチマークデータセットを用いたケーススタディ)で実証的に実証した。 いずれの場合も,GATTは前回のナイーブアプローチと比較して,エッジ属性スコアを大幅に改善することが示された。 私たちのコードはhttps://github.com/jordan7186/GAtt.comで公開されています。

関連論文リスト

• GraphGI:A GNN Explanation Method using Game Interaction [5.149896909638598]
  グラフニューラルネットワーク(GNN)は、様々な領域で広く利用されている。 現在のグラフ説明技術は、キーノードやエッジの識別に重点を置いており、モデル予測を駆動する重要なデータ機能に寄与している。 本稿では,対話力の高い連立関係を識別し,説明文として提示する新しい説明法GraphGIを提案する。
  論文  参考訳（メタデータ） (2024-09-24T03:24:31Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• Semantic Interpretation and Validation of Graph Attention-based Explanations for GNN Models [9.260186030255081]
  本稿では,グラフニューラルネットワーク(GNN)に基づくモデルの説明可能性を高めるために,意味的注意力を用いた手法を提案する。 本研究は,注意分布のばらつきを意味的にソートした特徴集合と関連づけることで,既存の注意グラフ説明可能性手法を拡張した。 提案手法をライダーポイントクラウド推定モデルに適用し,性能向上に寄与する主要なセマンティッククラスを同定する。
  論文  参考訳（メタデータ） (2023-08-08T12:34:32Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• FairGAT: Fairness-aware Graph Attention Networks [9.492903649862761]
  グラフアテンションネットワーク(GAT)は、グラフベースのタスクに最も広く利用されているニューラルネットワーク構造の一つとなっている。 GATにおけるアテンションデザインがアルゴリズムバイアスに与える影響については検討されていない。 フェアネスを意識したアテンションデザインを活用する新しいアルゴリズムであるFairGATを開発した。
  論文  参考訳（メタデータ） (2023-03-26T00:10:20Z)
• Boundary Attributions Provide Normal (Vector) Explanations [27.20904776964045]
  境界属性(BA)はこの問題に対処するための新しい説明法である。 BAは、ターゲット入力に対する局所的な決定境界の正規ベクトルを計算する。 ランダム化された平滑化ネットワークまたは堅牢に訓練されたネットワークのBAは、標準ネットワークよりも非境界アトリビューション方法にはるかに近い。
  論文  参考訳（メタデータ） (2021-03-20T22:36:39Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Graph Backdoor [53.70971502299977]
  GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。 GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。 トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
  論文  参考訳（メタデータ） (2020-06-21T19:45:30Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)
• Attention improves concentration when learning node embeddings [1.2233362977312945]
  検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。 様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
  論文  参考訳（メタデータ） (2020-06-11T21:21:12Z)
• Spectral Graph Attention Network with Fast Eigen-approximation [103.93113062682633]
  スペクトルグラフ注意ネットワーク(SpGAT)は、重み付きフィルタとグラフウェーブレットベースに関する異なる周波数成分の表現を学習する。 固有分解による計算コストを削減するために,高速近似変種SpGAT-Chebyを提案する。 半教師付きノード分類タスクにおけるSpGATとSpGAT-Chebyの性能を徹底的に評価する。
  論文  参考訳（メタデータ） (2020-03-16T21:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。