論文の概要: GInX-Eval: Towards In-Distribution Evaluation of Graph Neural Network Explanations

• arxiv url: http://arxiv.org/abs/2309.16223v2
• Date: Sun, 5 Nov 2023 16:34:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 20:52:21.802646
• Title: GInX-Eval: Towards In-Distribution Evaluation of Graph Neural Network Explanations
• Title（参考訳）: GInX-Eval: グラフニューラルネットワーク説明の分布内評価に向けて
• Authors: Kenza Amara and Mennatallah El-Assady and Rex Ying
• Abstract要約: グラフニューラルネットワーク(GNN)の様々な説明可能性法は、モデル予測に最も寄与するグラフのエッジとノードを強調するために開発されている。 これらの説明の正しさを人間やモデルの観点から評価する方法はまだ明らかになっていない。 本稿では,信頼の落とし穴を克服するグラフ説明の評価手法であるGInX-Evalを提案する。
• 参考スコア（独自算出の注目度）: 21.997015999698732
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Diverse explainability methods of graph neural networks (GNN) have recently been developed to highlight the edges and nodes in the graph that contribute the most to the model predictions. However, it is not clear yet how to evaluate the correctness of those explanations, whether it is from a human or a model perspective. One unaddressed bottleneck in the current evaluation procedure is the problem of out-of-distribution explanations, whose distribution differs from those of the training data. This important issue affects existing evaluation metrics such as the popular faithfulness or fidelity score. In this paper, we show the limitations of faithfulness metrics. We propose GInX-Eval (Graph In-distribution eXplanation Evaluation), an evaluation procedure of graph explanations that overcomes the pitfalls of faithfulness and offers new insights on explainability methods. Using a fine-tuning strategy, the GInX score measures how informative removed edges are for the model and the EdgeRank score evaluates if explanatory edges are correctly ordered by their importance. GInX-Eval verifies if ground-truth explanations are instructive to the GNN model. In addition, it shows that many popular methods, including gradient-based methods, produce explanations that are not better than a random designation of edges as important subgraphs, challenging the findings of current works in the area. Results with GInX-Eval are consistent across multiple datasets and align with human evaluation.
• Abstract（参考訳）: グラフニューラルネットワーク(gnn)の多様な説明可能性手法が最近開発され、モデルの予測に最も寄与するグラフのエッジとノードを強調している。 しかし、それが人間かモデルかに関わらず、これらの説明の正確性を評価する方法はまだ明確ではない。 現在の評価手順における非対応ボトルネックの1つは、分布がトレーニングデータと異なる分散説明の問題である。 この重要な問題は、人気のある忠実度や忠実度スコアなど、既存の評価指標に影響する。 本稿では,忠実度指標の限界について述べる。 GInX-Eval (Graph In-Distribution eXplanation Evaluation) は,忠実性の落とし穴を克服し,説明可能性に関する新たな知見を提供するグラフ説明の評価手法である。 微調整戦略を用いて、ginxスコアはモデルの有益なエッジ数を測定し、edgerankスコアはその重要度によって説明エッジが正しく順序付けされているかどうかを評価する。 GInX-Eval は、GNN モデルに接地真実の説明が指示されるかどうかを検証する。 さらに,グラデーションに基づく手法を含む多くの一般的な手法が,エッジのランダムな指定よりも優れた説明を重要な部分グラフとして生成し,現在の研究成果に異議を唱えることを示した。 GInX-Evalの結果は複数のデータセット間で一致しており、人間の評価と一致している。

関連論文リスト

• On Discprecncies between Perturbation Evaluations of Graph Neural Network Attributions [49.8110352174327]
  我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。 中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。 我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
  論文  参考訳（メタデータ） (2024-01-01T02:03:35Z)
• Towards Robust Fidelity for Evaluating Explainability of Graph Neural Networks [32.345435955298825]
  グラフニューラルネットワーク(GNN)は、グラフノード間のメッセージパッシングを介してグラフィカルデータの依存性構造を利用するニューラルネットワークである。 GNN説明可能性の研究における主な課題は、これらの説明機能の性能を評価するための忠実度尺度を提供することである。 本稿では,この基礎的課題について考察し,その限界を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-10-03T06:25:14Z)
• Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph Matching [68.35685422301613]
  そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。 ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。 合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-07T05:14:45Z)
• Reinforced Causal Explainer for Graph Neural Networks [112.57265240212001]
  グラフニューラルネットワーク(GNN)の探索には説明可能性が不可欠である 我々は強化学習エージェントReinforced Causal Explainer (RC-Explainer)を提案する。 RC-Explainerは忠実で簡潔な説明を生成し、グラフを見えなくするより優れたパワーを持つ。
  論文  参考訳（メタデータ） (2022-04-23T09:13:25Z)
• Deconfounding to Explanation Evaluation in Graph Neural Networks [136.73451468551656]
  我々は、全グラフと部分グラフの間に分布シフトが存在し、分布外問題を引き起こすと論じる。 本稿では,モデル予測に対する説明文の因果効果を評価するために,Decon founded Subgraph Evaluation (DSE)を提案する。
  論文  参考訳（メタデータ） (2022-01-21T18:05:00Z)
• GraphSVX: Shapley Value Explanations for Graph Neural Networks [81.83769974301995]
  グラフニューラルネットワーク(GNN)は、幾何データに基づく様々な学習タスクにおいて大きな性能を発揮する。 本稿では,既存のGNN解説者の多くが満足する統一フレームワークを提案する。 GNN用に特別に設計されたポストホックローカルモデル非依存説明法であるGraphSVXを紹介します。
  論文  参考訳（メタデータ） (2021-04-18T10:40:37Z)
• Explainability in Graph Neural Networks: A Taxonomic Survey [42.95574260417341]
  グラフニューラルネットワーク(gnns)とその説明能力は急速に発展している。 GNNの説明可能性メソッドの統一された処理も、評価のための標準的なベンチマークとテストベッドもありません。 本研究はgnn説明可能性の統一的な方法論的処理と評価のための標準テストベッドを提供する。
  論文  参考訳（メタデータ） (2020-12-31T04:34:27Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。