論文の概要: Revisiting Attention Weights as Interpretations of Message-Passing Neural Networks

• arxiv url: http://arxiv.org/abs/2406.04612v1
• Date: Fri, 7 Jun 2024 03:40:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-10 15:39:08.286777
• Title: Revisiting Attention Weights as Interpretations of Message-Passing Neural Networks
• Title（参考訳）: メッセージパッシングニューラルネットワークの解釈としての注意重みの再検討
• Authors: Yong-Min Shin, Siqing Li, Xin Cao, Won-Yong Shin,
• Abstract要約: いくつかの広く使われているメッセージパッシングニューラルネットワーク(MPNN)では自己注意機構が採用されている この注意の活用により、そのようなモデルは説明可能なAI(XAI)の研究のベースラインとなった。 本研究の目的は,注目機能付きMPNNの広汎な利用と,大半が未探索な説明可能性におけるその可能性とのギャップを埋めることである。
• 参考スコア（独自算出の注目度）: 11.459893079664578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The self-attention mechanism has been adopted in several widely-used message-passing neural networks (MPNNs) (e.g., GATs), which adaptively controls the amount of information that flows along the edges of the underlying graph. This usage of attention has made such models a baseline for studies on explainable AI (XAI) since interpretations via attention have been popularized in various domains (e.g., natural language processing and computer vision). However, existing studies often use naive calculations to derive attribution scores from attention, and do not take the precise and careful calculation of edge attribution into consideration. In our study, we aim to fill the gap between the widespread usage of attention-enabled MPNNs and their potential in largely under-explored explainability, a topic that has been actively investigated in other areas. To this end, as the first attempt, we formalize the problem of edge attribution from attention weights in GNNs. Then, we propose GATT, an edge attribution calculation method built upon the computation tree. Through comprehensive experiments, we demonstrate the effectiveness of our proposed method when evaluating attributions from GATs. Conversely, we empirically validate that simply averaging attention weights over graph attention layers is insufficient to interpret the GAT model's behavior. Code is publicly available at https://github.com/jordan7186/GAtt/tree/main.
• Abstract（参考訳）: この自己認識機構は、基礎となるグラフの端に沿って流れる情報の量を適応的に制御する、広く使われているメッセージパッシングニューラルネットワーク(MPNN)(例:GAT)で採用されている。 このような注意力を用いたモデルは、様々な領域(自然言語処理やコンピュータビジョンなど)で注目による解釈が普及しているため、説明可能なAI(XAI)の研究のベースラインとなっている。 しかし、既存の研究では、しばしば注意から帰属スコアを導き出すために単純計算を用いており、エッジ帰属の正確かつ慎重な計算を考慮に入れていない。 本研究は,注目機能付きMPNNの広範利用と,その可能性とのギャップを埋めることを目的としている。 この目的のために、最初の試みとして、GNNにおける注意重みによるエッジ属性の問題の定式化を行う。 そこで,計算木上に構築したエッジ属性計算手法GATTを提案する。 総合的な実験を通じて,GATの属性評価における提案手法の有効性を実証する。 逆に、グラフ注意層上での注意重み平均化は、GATモデルの振舞いを解釈するには不十分であることを実証的に検証する。 コードはhttps://github.com/jordan7186/GAtt/tree/mainで公開されている。

関連論文リスト

• Towards Fair Graph Representation Learning in Social Networks [20.823461673845756]
  本稿では, 十分性, 自立性, 分離性という3つの原則に基づいて, 公正表現学習の制約を導入する。 EAGNN法がグループフェアネスを効果的に達成できることを理論的に実証する。
  論文  参考訳（メタデータ） (2024-10-15T10:57:02Z)
• PROXI: Challenging the GNNs for Link Prediction [3.8233569758620063]
  本稿では,グラフと属性空間の両方におけるノードペアの近接情報を活用するPROXIを紹介する。 標準機械学習(ML)モデルは競争力があり、最先端のGNNモデルよりも優れています。 ProXIによる従来のGNNの拡張はリンク予測性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:57:38Z)
• GraphGI:A GNN Explanation Method using Game Interaction [5.149896909638598]
  グラフニューラルネットワーク(GNN)は、様々な領域で広く利用されている。 現在のグラフ説明技術は、キーノードやエッジの識別に重点を置いており、モデル予測を駆動する重要なデータ機能に寄与している。 本稿では,対話力の高い連立関係を識別し,説明文として提示する新しい説明法GraphGIを提案する。
  論文  参考訳（メタデータ） (2024-09-24T03:24:31Z)
• Massive Activations in Graph Neural Networks: Decoding Attention for Domain-Dependent Interpretability [0.9499648210774584]
  エッジ機能グラフニューラルネットワーク(GNN)における注意層内のマスアクティブ(MA)の出現を示す。 本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,エッジ機能付き注目型GNNモデルの評価を行う。
  論文  参考訳（メタデータ） (2024-09-05T12:19:07Z)
• Kolmogorov-Arnold Graph Neural Networks [2.4005219869876453]
  グラフニューラルネットワーク(GNN)は、ネットワークのようなデータから学習する上で優れるが、解釈性に欠けることが多い。 本稿では,GKAN(Graph Kolmogorov-Arnold Network)を提案する。
  論文  参考訳（メタデータ） (2024-06-26T13:54:59Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Semantic Interpretation and Validation of Graph Attention-based Explanations for GNN Models [9.260186030255081]
  本稿では,グラフニューラルネットワーク(GNN)に基づくモデルの説明可能性を高めるために,意味的注意力を用いた手法を提案する。 本研究は,注意分布のばらつきを意味的にソートした特徴集合と関連づけることで,既存の注意グラフ説明可能性手法を拡張した。 提案手法をライダーポイントクラウド推定モデルに適用し,性能向上に寄与する主要なセマンティッククラスを同定する。
  論文  参考訳（メタデータ） (2023-08-08T12:34:32Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• FairGAT: Fairness-aware Graph Attention Networks [9.492903649862761]
  グラフアテンションネットワーク(GAT)は、グラフベースのタスクに最も広く利用されているニューラルネットワーク構造の一つとなっている。 GATにおけるアテンションデザインがアルゴリズムバイアスに与える影響については検討されていない。 フェアネスを意識したアテンションデザインを活用する新しいアルゴリズムであるFairGATを開発した。
  論文  参考訳（メタデータ） (2023-03-26T00:10:20Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
  トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。 このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。 本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:57:18Z)
• Boundary Attributions Provide Normal (Vector) Explanations [27.20904776964045]
  境界属性(BA)はこの問題に対処するための新しい説明法である。 BAは、ターゲット入力に対する局所的な決定境界の正規ベクトルを計算する。 ランダム化された平滑化ネットワークまたは堅牢に訓練されたネットワークのBAは、標準ネットワークよりも非境界アトリビューション方法にはるかに近い。
  論文  参考訳（メタデータ） (2021-03-20T22:36:39Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Graph Backdoor [53.70971502299977]
  GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。 GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。 トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
  論文  参考訳（メタデータ） (2020-06-21T19:45:30Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)
• Attention improves concentration when learning node embeddings [1.2233362977312945]
  検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。 様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
  論文  参考訳（メタデータ） (2020-06-11T21:21:12Z)
• Spectral Graph Attention Network with Fast Eigen-approximation [103.93113062682633]
  スペクトルグラフ注意ネットワーク(SpGAT)は、重み付きフィルタとグラフウェーブレットベースに関する異なる周波数成分の表現を学習する。 固有分解による計算コストを削減するために,高速近似変種SpGAT-Chebyを提案する。 半教師付きノード分類タスクにおけるSpGATとSpGAT-Chebyの性能を徹底的に評価する。
  論文  参考訳（メタデータ） (2020-03-16T21:49:34Z)
• Node Masking: Making Graph Neural Networks Generalize and Scale Better [71.51292866945471]
  グラフニューラルネットワーク(GNN)は近年,多くの関心を集めている。 本稿では,芸術空間のGNNの状態によって実行される操作をよりよく可視化するために,いくつかの理論ツールを利用する。 私たちはNode Maskingというシンプルなコンセプトを導入しました。
  論文  参考訳（メタデータ） (2020-01-17T06:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。