論文の概要: Learnt Sparsification for Interpretable Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2106.12920v1
• Date: Wed, 23 Jun 2021 16:04:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-26 10:11:42.496736
• Title: Learnt Sparsification for Interpretable Graph Neural Networks
• Title（参考訳）: 解釈可能なグラフニューラルネットワークのための学習スパーシフィケーション
• Authors: Mandeep Rathee, Zijian Zhang, Thorben Funke, Megha Khosla, and Avishek Anand
• Abstract要約: 不要な隣人を除去することにより、基礎となるグラフを明示的にスパース化するための、Kedgeと呼ばれる新しい手法を提案する。 Kedgeは、任意のGNNでトレーニングされたモジュール方式でエッジマスクを学習することで、勾配ベースの最適化を実現する。 我々は,GNN層の増加に伴うタスク性能の維持により,深いGNNにおける過度なスムース現象に対して,Kedgeが効果的に対処可能であることを示す。
• 参考スコア（独自算出の注目度）: 5.527927312898106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks (GNNs) have achieved great success on various tasks and fields that require relational modeling. GNNs aggregate node features using the graph structure as inductive biases resulting in flexible and powerful models. However, GNNs remain hard to interpret as the interplay between node features and graph structure is only implicitly learned. In this paper, we propose a novel method called Kedge for explicitly sparsifying the underlying graph by removing unnecessary neighbors. Our key idea is based on a tractable method for sparsification using the Hard Kumaraswamy distribution that can be used in conjugation with any GNN model. Kedge learns edge masks in a modular fashion trained with any GNN allowing for gradient based optimization in an end-to-end fashion. We demonstrate through extensive experiments that our model Kedge can prune a large proportion of the edges with only a minor effect on the test accuracy. Specifically, in the PubMed dataset, Kedge learns to drop more than 80% of the edges with an accuracy drop of merely 2% showing that graph structure has only a small contribution in comparison to node features. Finally, we also show that Kedge effectively counters the over-smoothing phenomena in deep GNNs by maintaining good task performance with increasing GNN layers.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、リレーショナルモデリングを必要とするさまざまなタスクや分野において大きな成功を収めている。 GNNは、グラフ構造を帰納バイアスとして利用し、柔軟性と強力なモデルを生成する。 しかし、ノード特徴とグラフ構造の間の相互作用が暗黙的にのみ学習されるため、GNNの解釈は困難である。 本稿では,不要な近傍を除去し,基礎となるグラフを明示的にスパースする手法であるkedgeを提案する。 提案手法は,任意のgnnモデルと共役で使用可能な硬いkumaraswamy分布を用いた,扱いやすいスパーシフィケーション法に基づいている。 Kedgeは、任意のGNNでトレーニングされたモジュール方式でエッジマスクを学び、エンドツーエンドで勾配ベースの最適化を実現する。 実験では,実験精度に小さな影響を及ぼさずに,エッジのかなりの割合をプルーピングできることを実証した。 具体的には、pubmedデータセットでkedgeは、エッジの80%以上をドロップし、わずか2%の精度低下でグラフ構造がノードの機能に対して小さな貢献しか持たないことを学んでいる。 最後に、Kedgeは、GNN層の増加とともにタスク性能を向上し、深いGNNにおいて過度にスムースな現象に効果的に対処することを示した。

関連論文リスト

• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with Heterophily [58.76759997223951]
  我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。 また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:26:43Z)
• GARNET: Reduced-Rank Topology Learning for Robust and Scalable Graph Neural Networks [15.448462928073635]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータでの学習を含むさまざまなアプリケーションにますます導入されている。 近年の研究では、GNNはグラフ敵攻撃に弱いことが示されている。 本稿では,GNNモデルの対角的ロバスト性を高めるため,スケーラブルなスペクトル法であるGARNETを提案する。
  論文  参考訳（メタデータ） (2022-01-30T06:32:44Z)
• KerGNNs: Interpretable Graph Neural Networks with Graph Kernels [14.421535610157093]
  グラフニューラルネットワーク(GNN)は、下流グラフ関連タスクにおける最先端の手法となっている。 我々は新しいGNNフレームワークKernel Graph Neural Networks(KerGNNs)を提案する。 KerGNNはグラフカーネルをGNNのメッセージパッシングプロセスに統合する。 提案手法は,既存の最先端手法と比較して,競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-01-03T06:16:30Z)
• Network In Graph Neural Network [9.951298152023691]
  本稿では,任意のGNNモデルに対して,モデルをより深くすることでモデル容量を増大させるモデルに依存しない手法を提案する。 GNNレイヤの追加や拡張の代わりに、NGNNは、各GNNレイヤに非線形フィードフォワードニューラルネットワーク層を挿入することで、GNNモデルを深めている。
  論文  参考訳（メタデータ） (2021-11-23T03:58:56Z)
• Edgeless-GNN: Unsupervised Inductive Edgeless Network Embedding [7.391641422048645]
  ネットワークを新たに入力したユーザなど,エッジレスノードを埋め込む問題について検討する。 我々は,非教師付き帰納学習により,エッジレスノードに対してもノード埋め込みを生成可能な新しいフレームワークであるEdgeless-GNNを提案する。
  論文  参考訳（メタデータ） (2021-04-12T06:37:31Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Boost then Convolve: Gradient Boosting Meets Graph Neural Networks [6.888700669980625]
  グラデーションブースト決定木(gbdt)は,異種データに対して他の機械学習手法よりも優れていることが示されている。 我々は,gbdt と gnn を共同で訓練し,両世界のベストを勝ち取る新しいアーキテクチャを提案する。 我々のモデルは、GNNの勾配更新に新しい木を適合させることにより、エンドツーエンドの最適化の恩恵を受ける。
  論文  参考訳（メタデータ） (2021-01-21T10:46:41Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。