論文の概要: Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking

• arxiv url: http://arxiv.org/abs/2010.00577v3
• Date: Mon, 3 Oct 2022 10:22:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 06:59:32.501596
• Title: Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking
• Title（参考訳）: エッジマスキングによるNLPのためのグラフニューラルネットワークの解釈
• Authors: Michael Sejr Schlichtkrull, Nicola De Cao, Ivan Titov
• Abstract要約: グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
• 参考スコア（独自算出の注目度）: 63.49779304362376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have become a popular approach to integrating structural inductive biases into NLP models. However, there has been little work on interpreting them, and specifically on understanding which parts of the graphs (e.g. syntactic trees or co-reference structures) contribute to a prediction. In this work, we introduce a post-hoc method for interpreting the predictions of GNNs which identifies unnecessary edges. Given a trained GNN model, we learn a simple classifier that, for every edge in every layer, predicts if that edge can be dropped. We demonstrate that such a classifier can be trained in a fully differentiable fashion, employing stochastic gates and encouraging sparsity through the expected $L_0$ norm. We use our technique as an attribution method to analyze GNN models for two tasks -- question answering and semantic role labeling -- providing insights into the information flow in these models. We show that we can drop a large proportion of edges without deteriorating the performance of the model, while we can analyse the remaining edges for interpreting model predictions.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 しかし、それらの解釈、特にグラフのどの部分(例えば構文木や共参照構造)が予測に寄与するかを理解する作業はほとんど行われていない。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 訓練されたGNNモデルから、各層のすべてのエッジに対して、そのエッジをドロップできるかどうかを予測する単純な分類法を学ぶ。 このような分類器は完全に微分可能な方法で訓練でき、確率ゲートを採用し、期待される$L_0$ノルムで空間性を奨励できることを示す。 本手法は,2つのタスク(質問応答とセマンティックロールラベリング)に対するGNNモデルの解析に寄与する手法であり,これらのモデルにおける情報フローに関する洞察を提供する。 我々は,モデルの性能を劣化させることなく,大量のエッジを落とせる一方で,残りのエッジを解析してモデル予測を解釈できることを示した。

関連論文リスト

• Do graph neural network states contain graph properties? [5.222978725954348]
  診断分類器を用いたグラフニューラルネットワーク(GNN)のモデル説明可能性パイプラインを提案する。 このパイプラインは、さまざまなアーキテクチャやデータセットにわたるGNNの学習した表現を探索し、解釈することを目的としている。
  論文  参考訳（メタデータ） (2024-11-04T15:26:07Z)
• Improving the interpretability of GNN predictions through conformal-based graph sparsification [9.550589670316523]
  グラフニューラルネットワーク(GNN)は、グラフ分類タスクの解決において最先端のパフォーマンスを達成した。 エッジやノードを除去することで,最も予測可能なサブグラフを見つけるGNNエンハンチング手法を提案する。 我々は、共形予測に基づく報奨関数で得られる二段階最適化を解決するために強化学習を頼りにしている。
  論文  参考訳（メタデータ） (2024-04-18T17:34:47Z)
• Text Representation Enrichment Utilizing Graph based Approaches: Stock Market Technical Analysis Case Study [0.0]
  本稿では,教師なしノード表現学習モデルとノード分類/エッジ予測モデルを組み合わせたトランスダクティブハイブリッド手法を提案する。 提案手法は,この分野における最初の研究である株式市場の技術分析報告を分類するために開発された。
  論文  参考訳（メタデータ） (2022-11-29T11:26:08Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• A Meta-Learning Approach for Training Explainable Graph Neural Networks [10.11960004698409]
  本稿では,GNNの学習時間における説明可能性向上のためのメタラーニングフレームワークを提案する。 我々のフレームワークは、例えばノード分類などの元のタスクを解決するためにモデルを共同で訓練し、下流アルゴリズムで容易に処理可能な出力を提供する。 我々のモデルに依存しないアプローチは、異なるGNNアーキテクチャで生成された説明を改善し、このプロセスを駆動するためにインスタンスベースの説明器を使用することができます。
  論文  参考訳（メタデータ） (2021-09-20T11:09:10Z)
• Learnt Sparsification for Interpretable Graph Neural Networks [5.527927312898106]
  不要な隣人を除去することにより、基礎となるグラフを明示的にスパース化するための、Kedgeと呼ばれる新しい手法を提案する。 Kedgeは、任意のGNNでトレーニングされたモジュール方式でエッジマスクを学習することで、勾配ベースの最適化を実現する。 我々は,GNN層の増加に伴うタスク性能の維持により,深いGNNにおける過度なスムース現象に対して,Kedgeが効果的に対処可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-23T16:04:25Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。