論文の概要: Soft-mask: Adaptive Substructure Extractions for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2206.05499v1
- Date: Sat, 11 Jun 2022 11:04:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 16:35:06.351831
- Title: Soft-mask: Adaptive Substructure Extractions for Graph Neural Networks
- Title(参考訳): soft-mask: グラフニューラルネットワークのための適応的部分構造抽出
- Authors: Mingqi Yang, Yanming Shen, Heng Qi, Baocai Yin
- Abstract要約: グラフニューラルネットワークは、タスク関連構造を効率的に抽出し、非関連部分に不変であるべきである。
本研究では,元のグラフの一連の部分グラフからグラフ表現を学習し,タスク関連部分構造や階層構造をよりよく把握し,$noisy$partをスキップすることを提案する。
ソフトマスクGNN層は固定サンプルやドロップ比に制限されないため、任意の大きさのグラフを抽出することがより柔軟である。
- 参考スコア(独自算出の注目度): 40.64326531965043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For learning graph representations, not all detailed structures within a
graph are relevant to the given graph tasks. Task-relevant structures can be
$localized$ or $sparse$ which are only involved in subgraphs or characterized
by the interactions of subgraphs (a hierarchical perspective). A graph neural
network should be able to efficiently extract task-relevant structures and be
invariant to irrelevant parts, which is challenging for general message passing
GNNs. In this work, we propose to learn graph representations from a sequence
of subgraphs of the original graph to better capture task-relevant
substructures or hierarchical structures and skip $noisy$ parts. To this end,
we design soft-mask GNN layer to extract desired subgraphs through the mask
mechanism. The soft-mask is defined in a continuous space to maintain the
differentiability and characterize the weights of different parts. Compared
with existing subgraph or hierarchical representation learning methods and
graph pooling operations, the soft-mask GNN layer is not limited by the fixed
sample or drop ratio, and therefore is more flexible to extract subgraphs with
arbitrary sizes. Extensive experiments on public graph benchmarks show that
soft-mask mechanism brings performance improvements. And it also provides
interpretability where visualizing the values of masks in each layer allows us
to have an insight into the structures learned by the model.
- Abstract(参考訳): グラフ表現を学習するために、グラフ内の詳細構造が与えられたグラフタスクに関係しているわけではない。
タスク関連構造は$localized$または$sparse$であり、サブグラフにのみ関与するか、サブグラフ(階層的な視点)の相互作用によって特徴づけられる。
グラフニューラルネットワークは、タスク関連構造を効率的に抽出し、無関係な部分に対して不変であり、一般的なメッセージパッシングgnnでは困難である。
本稿では,元のグラフのサブグラフ列からグラフ表現を学習し,タスク関連部分構造や階層構造をよりよく捉え,$noisy$ の部分をスキップする手法を提案する。
この目的のために、マスク機構を通じて所望のサブグラフを抽出するソフトマスクGNN層を設計する。
ソフトマスクは連続空間で定義され、微分可能性を維持し、異なる部分の重みを特徴づける。
既存のサブグラフや階層表現学習方法やグラフプーリング操作と比較して、ソフトマスクgnn層は固定サンプルやドロップ比に制限されず、任意のサイズでサブグラフを抽出するのがより柔軟である。
公開グラフベンチマークに関する広範な実験は、ソフトマスク機構がパフォーマンス向上をもたらすことを示している。
また、各レイヤにおけるマスクの値の可視化によって、モデルによって学習された構造に関する洞察を得ることができる、解釈可能性も提供します。
関連論文リスト
- Stochastic Subgraph Neighborhood Pooling for Subgraph Classification [2.1270496914042996]
Subgraph Neighborhood Pooling (SSNP) は、ラベル付けトリックのような計算コストの高い操作をすることなく、サブグラフとその周辺情報を共同で集約する。
実験により、我々のモデルは、トレーニングにおいて最大3倍高速でありながら、最先端の手法(マージンが最大2%)より優れています。
論文 参考訳(メタデータ) (2023-04-17T18:49:18Z) - Learning to Count Isomorphisms with Graph Neural Networks [16.455234748896157]
グラフ上の部分グラフ同型カウントは重要な問題である。
本稿では,グラフアイソモーフィズムカウントのための新しいグラフニューラルネットワークであるCount-GNNを提案する。
論文 参考訳(メタデータ) (2023-02-07T05:32:11Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-03T17:57:53Z) - Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。
最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。
本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
論文 参考訳(メタデータ) (2020-11-19T06:03:35Z) - Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。
空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。
提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
論文 参考訳(メタデータ) (2020-11-06T12:17:01Z) - Learning Graph Structure With A Finite-State Automaton Layer [31.028101360041227]
本研究は,本質的なグラフ構造から抽象的関係を導出する学習の課題について考察する。
この問題を緩和して有限状態オートマトンポリシーを学習することで、これらの関係をエンドツーエンドで学習する方法を示す。
我々は,このレイヤがグリッドワールドグラフのショートカットを見つけ,Pythonプログラム上で単純な静的解析を再現できることを実証した。
論文 参考訳(メタデータ) (2020-07-09T17:01:34Z) - Improving Graph Neural Network Expressivity via Subgraph Isomorphism
Counting [63.04999833264299]
グラフサブストラクチャネットワーク(GSN)は,サブストラクチャエンコーディングに基づくトポロジ的に認識可能なメッセージパッシング方式である。
Wesfeiler-Leman (WL) グラフ同型テストよりも厳密に表現可能であることを示す。
グラフ分類と回帰タスクについて広範囲に評価を行い、様々な実世界の環境において最先端の結果を得る。
論文 参考訳(メタデータ) (2020-06-16T15:30:31Z) - Structural Temporal Graph Neural Networks for Anomaly Detection in
Dynamic Graphs [54.13919050090926]
本稿では,動的グラフの異常エッジを検出するために,エンドツーエンドの時間構造グラフニューラルネットワークモデルを提案する。
特に,まずターゲットエッジを中心にした$h$ホップ囲むサブグラフを抽出し,各ノードの役割を識別するノードラベル機能を提案する。
抽出した特徴に基づき,GRU(Gated Recurrent Unit)を用いて,異常検出のための時間的情報を取得する。
論文 参考訳(メタデータ) (2020-05-15T09:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。