論文の概要: GraphFramEx: Towards Systematic Evaluation of Explainability Methods for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2206.09677v5
- Date: Wed, 22 May 2024 12:11:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-26 22:01:37.477105
- Title: GraphFramEx: Towards Systematic Evaluation of Explainability Methods for Graph Neural Networks
- Title（参考訳）: GraphFramEx: グラフニューラルネットワークにおける説明可能性手法の体系的評価に向けて
- Authors: Kenza Amara, Rex Ying, Zitao Zhang, Zhihao Han, Yinan Shan, Ulrik Brandes, Sebastian Schemm, Ce Zhang,
- Abstract要約: 3つの異なる「ユーザニーズ」に対する説明可能性を考慮したGNN説明可能性のための最初の体系的評価フレームワークを提案する。
不適切なが広く使われている合成ベンチマークでは、パーソナライズされたPageRankのような驚くほど浅いテクニックが最小限の計算時間で最高のパフォーマンスを持つ。
しかし,グラフ構造が複雑で有意義な特徴を持つ場合,評価基準に従って勾配法が最適である。
- 参考スコア（独自算出の注目度）: 15.648750523827616
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As one of the most popular machine learning models today, graph neural networks (GNNs) have attracted intense interest recently, and so does their explainability. Users are increasingly interested in a better understanding of GNN models and their outcomes. Unfortunately, today's evaluation frameworks for GNN explainability often rely on few inadequate synthetic datasets, leading to conclusions of limited scope due to a lack of complexity in the problem instances. As GNN models are deployed to more mission-critical applications, we are in dire need for a common evaluation protocol of explainability methods of GNNs. In this paper, we propose, to our best knowledge, the first systematic evaluation framework for GNN explainability, considering explainability on three different "user needs". We propose a unique metric that combines the fidelity measures and classifies explanations based on their quality of being sufficient or necessary. We scope ourselves to node classification tasks and compare the most representative techniques in the field of input-level explainability for GNNs. For the inadequate but widely used synthetic benchmarks, surprisingly shallow techniques such as personalized PageRank have the best performance for a minimum computation time. But when the graph structure is more complex and nodes have meaningful features, gradient-based methods are the best according to our evaluation criteria. However, none dominates the others on all evaluation dimensions and there is always a trade-off. We further apply our evaluation protocol in a case study for frauds explanation on eBay transaction graphs to reflect the production environment.
- Abstract（参考訳）: 今日最もポピュラーな機械学習モデルのひとつとして、グラフニューラルネットワーク(GNN)が最近注目を集めており、その説明可能性も高い。
ユーザは、GNNモデルとその成果をよりよく理解することに興味を持っている。
残念ながら、今日のGNN説明可能性評価フレームワークは、多くの場合、不十分な合成データセットに頼っている。
GNNモデルはよりミッションクリティカルなアプリケーションにデプロイされるため、GNNの説明可能性に関する共通評価プロトコルが必要である。
本稿では,3つの異なる「ユーザニーズ」に対する説明可能性を考慮した,GNN説明可能性のための最初の体系的評価フレームワークを提案する。
そこで本研究では,忠実度尺度を組み合わせた一意な計量法を提案し,その品質が十分か必要かに基づいて説明を分類する。
ノード分類タスクを対象とし、GNNの入力レベル説明可能性の分野で最も代表的な手法を比較する。
不適切なが広く使われている合成ベンチマークでは、パーソナライズされたPageRankのような驚くほど浅いテクニックが最小限の計算時間で最高のパフォーマンスを持つ。
しかし,グラフ構造が複雑で有意義な特徴を持つ場合,評価基準に従って勾配法が最適である。
しかしながら、すべての評価次元において他のものを支配するものはなく、常にトレードオフがある。
さらに,eBay取引グラフの不正説明を事例として,本評価プロトコルを適用して実運用環境を反映する。
関連論文リスト
- GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。
本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。
DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
論文 参考訳（メタデータ） (2023-10-23T05:51:59Z) - Towards Robust Fidelity for Evaluating Explainability of Graph Neural Networks [32.345435955298825]
グラフニューラルネットワーク(GNN)は、グラフノード間のメッセージパッシングを介してグラフィカルデータの依存性構造を利用するニューラルネットワークである。
GNN説明可能性の研究における主な課題は、これらの説明機能の性能を評価するための忠実度尺度を提供することである。
本稿では,この基礎的課題について考察し,その限界を浮き彫りにする。
論文 参考訳（メタデータ） (2023-10-03T06:25:14Z) - How Expressive are Graph Neural Networks in Recommendation? [17.31401354442106]
グラフニューラルネットワーク(GNN)は、レコメンデーションを含むさまざまなグラフ学習タスクにおいて、優れたパフォーマンスを示している。
近年、GNNの表現性を調査し、メッセージパッシングGNNがWeisfeiler-Lehmanテストと同じくらい強力であることを実証している。
本稿では,GNNがノード間の構造的距離を捉える能力を評価するために,位相的近接度尺度を提案する。
論文 参考訳（メタデータ） (2023-08-22T02:17:34Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-05-22T10:29:52Z) - Task-Agnostic Graph Neural Network Evaluation via Adversarial
Collaboration [11.709808788756966]
GraphACは、分子表現学習のためのグラフニューラルネットワーク(GNN)の研究を評価するための、原則付き、タスクに依存し、安定したフレームワークである。
2つのGNNが互いに直接競合することから、共同で自分自身を更新できる、競争力のあるバーロウツインズ(Competitive Barlow Twins)という新しい客観的機能を導入します。
論文 参考訳（メタデータ） (2023-01-27T03:33:11Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - BAGEL: A Benchmark for Assessing Graph Neural Network Explanations [4.43959863685757]
グラフニューラルネットワークモデルが与えられた後、GNNモデルを説明するためのいくつかの解釈可能性アプローチが存在する。
本稿では,ベイゲルと呼ばれるGNNにおける説明可能性評価手法を提案する。
我々は4つのGNNモデルと、ノードとグラフの分類タスクに対する9つのポストホックな説明手法に関する広範な実証的研究を行った。
論文 参考訳（メタデータ） (2022-06-28T13:08:28Z) - Beyond Real-world Benchmark Datasets: An Empirical Study of Node
Classification with GNNs [3.547529079746247]
グラフニューラルネットワーク(GNN)はノード分類タスクにおいて大きな成功を収めている。
GNNの既存の評価は、グラフの様々な特性からきめ細かい分析を欠いている。
微粒化解析のための制御特性を持つグラフを生成する合成グラフ生成装置を用いて広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-06-18T08:03:12Z) - Is Homophily a Necessity for Graph Neural Networks? [50.959340355849896]
グラフニューラルネットワーク(GNN)は、多数のグラフベースの機械学習タスクに適した学習表現において大きな進歩を見せている。
GNNはホモフィリーな仮定によりうまく機能し、異種ノードが接続する異種グラフへの一般化に失敗したと広く信じられている。
最近の研究は、このような不均一な制限を克服する新しいアーキテクチャを設計し、ベースライン性能の低さと、この概念の証拠として、いくつかの異種グラフベンチマークデータセットに対するアーキテクチャの改善を引用している。
我々の実験では、標準グラフ畳み込みネットワーク(GCN)が実際よりも優れた性能を実現できることを実証的に見出した。
論文 参考訳（メタデータ） (2021-06-11T02:44:00Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳（メタデータ） (2020-06-15T17:06:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。