論文の概要: Revisiting Attention Weights as Interpretations of Message-Passing Neural Networks

• arxiv url: http://arxiv.org/abs/2406.04612v1
• Date: Fri, 7 Jun 2024 03:40:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 15:39:08.286777
• Title: Revisiting Attention Weights as Interpretations of Message-Passing Neural Networks
• Title（参考訳）: メッセージパッシングニューラルネットワークの解釈としての注意重みの再検討
• Authors: Yong-Min Shin, Siqing Li, Xin Cao, Won-Yong Shin,
• Abstract要約: いくつかの広く使われているメッセージパッシングニューラルネットワーク(MPNN)では自己注意機構が採用されている この注意の活用により、そのようなモデルは説明可能なAI(XAI)の研究のベースラインとなった。 本研究の目的は,注目機能付きMPNNの広汎な利用と,大半が未探索な説明可能性におけるその可能性とのギャップを埋めることである。
• 参考スコア（独自算出の注目度）: 11.459893079664578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The self-attention mechanism has been adopted in several widely-used message-passing neural networks (MPNNs) (e.g., GATs), which adaptively controls the amount of information that flows along the edges of the underlying graph. This usage of attention has made such models a baseline for studies on explainable AI (XAI) since interpretations via attention have been popularized in various domains (e.g., natural language processing and computer vision). However, existing studies often use naive calculations to derive attribution scores from attention, and do not take the precise and careful calculation of edge attribution into consideration. In our study, we aim to fill the gap between the widespread usage of attention-enabled MPNNs and their potential in largely under-explored explainability, a topic that has been actively investigated in other areas. To this end, as the first attempt, we formalize the problem of edge attribution from attention weights in GNNs. Then, we propose GATT, an edge attribution calculation method built upon the computation tree. Through comprehensive experiments, we demonstrate the effectiveness of our proposed method when evaluating attributions from GATs. Conversely, we empirically validate that simply averaging attention weights over graph attention layers is insufficient to interpret the GAT model's behavior. Code is publicly available at https://github.com/jordan7186/GAtt/tree/main.
• Abstract（参考訳）: この自己認識機構は、基礎となるグラフの端に沿って流れる情報の量を適応的に制御する、広く使われているメッセージパッシングニューラルネットワーク(MPNN)(例:GAT)で採用されている。 このような注意力を用いたモデルは、様々な領域(自然言語処理やコンピュータビジョンなど)で注目による解釈が普及しているため、説明可能なAI(XAI)の研究のベースラインとなっている。 しかし、既存の研究では、しばしば注意から帰属スコアを導き出すために単純計算を用いており、エッジ帰属の正確かつ慎重な計算を考慮に入れていない。 本研究は,注目機能付きMPNNの広範利用と,その可能性とのギャップを埋めることを目的としている。 この目的のために、最初の試みとして、GNNにおける注意重みによるエッジ属性の問題の定式化を行う。 そこで,計算木上に構築したエッジ属性計算手法GATTを提案する。 総合的な実験を通じて,GATの属性評価における提案手法の有効性を実証する。 逆に、グラフ注意層上での注意重み平均化は、GATモデルの振舞いを解釈するには不十分であることを実証的に検証する。 コードはhttps://github.com/jordan7186/GAtt/tree/mainで公開されている。

関連論文リスト

• GraphGI:A GNN Explanation Method using Game Interaction [5.149896909638598]
  グラフニューラルネットワーク(GNN)は、様々な領域で広く利用されている。 現在のグラフ説明技術は、キーノードやエッジの識別に重点を置いており、モデル予測を駆動する重要なデータ機能に寄与している。 本稿では,対話力の高い連立関係を識別し,説明文として提示する新しい説明法GraphGIを提案する。
  論文  参考訳（メタデータ） (2024-09-24T03:24:31Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• Semantic Interpretation and Validation of Graph Attention-based Explanations for GNN Models [9.260186030255081]
  本稿では,グラフニューラルネットワーク(GNN)に基づくモデルの説明可能性を高めるために,意味的注意力を用いた手法を提案する。 本研究は,注意分布のばらつきを意味的にソートした特徴集合と関連づけることで,既存の注意グラフ説明可能性手法を拡張した。 提案手法をライダーポイントクラウド推定モデルに適用し,性能向上に寄与する主要なセマンティッククラスを同定する。
  論文  参考訳（メタデータ） (2023-08-08T12:34:32Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• FairGAT: Fairness-aware Graph Attention Networks [9.492903649862761]
  グラフアテンションネットワーク(GAT)は、グラフベースのタスクに最も広く利用されているニューラルネットワーク構造の一つとなっている。 GATにおけるアテンションデザインがアルゴリズムバイアスに与える影響については検討されていない。 フェアネスを意識したアテンションデザインを活用する新しいアルゴリズムであるFairGATを開発した。
  論文  参考訳（メタデータ） (2023-03-26T00:10:20Z)
• Boundary Attributions Provide Normal (Vector) Explanations [27.20904776964045]
  境界属性(BA)はこの問題に対処するための新しい説明法である。 BAは、ターゲット入力に対する局所的な決定境界の正規ベクトルを計算する。 ランダム化された平滑化ネットワークまたは堅牢に訓練されたネットワークのBAは、標準ネットワークよりも非境界アトリビューション方法にはるかに近い。
  論文  参考訳（メタデータ） (2021-03-20T22:36:39Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Graph Backdoor [53.70971502299977]
  GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。 GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。 トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
  論文  参考訳（メタデータ） (2020-06-21T19:45:30Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)
• Attention improves concentration when learning node embeddings [1.2233362977312945]
  検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。 様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
  論文  参考訳（メタデータ） (2020-06-11T21:21:12Z)
• Spectral Graph Attention Network with Fast Eigen-approximation [103.93113062682633]
  スペクトルグラフ注意ネットワーク(SpGAT)は、重み付きフィルタとグラフウェーブレットベースに関する異なる周波数成分の表現を学習する。 固有分解による計算コストを削減するために,高速近似変種SpGAT-Chebyを提案する。 半教師付きノード分類タスクにおけるSpGATとSpGAT-Chebyの性能を徹底的に評価する。
  論文  参考訳（メタデータ） (2020-03-16T21:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。