論文の概要: Graph Information Vanishing Phenomenon inImplicit Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2103.01770v1
- Date: Tue, 2 Mar 2021 14:43:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-04 01:02:31.418084
- Title: Graph Information Vanishing Phenomenon inImplicit Graph Neural Networks
- Title（参考訳）: Implicit Graph Neural Networksにおけるグラフ情報消失現象
- Authors: Haifeng Li, Jun Cao, Jiawei Zhu, Qing Zhu, Guohua Wu
- Abstract要約: 学習可能変換構造(LTS)は学習過程中にグラフ情報の特殊特性を消失させると主張している。
LTSは、異なるグラフ情報を非常に類似した結果にマップします。
グラフ情報とltsの関係を再考して、グラフ情報がノード表現で使われるようにすべきである。
- 参考スコア（独自算出の注目度）: 5.087332760674996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the key problems of GNNs is how to describe the importance of neighbor
nodes in the aggregation process for learning node representations. A class of
GNNs solves this problem by learning implicit weights to represent the
importance of neighbor nodes, which we call implicit GNNs such as Graph
Attention Network. The basic idea of implicit GNNs is to introduce graph
information with special properties followed by Learnable Transformation
Structures (LTS) which encode the importance of neighbor nodes via a
data-driven way. In this paper, we argue that LTS makes the special properties
of graph information disappear during the learning process, resulting in graph
information unhelpful for learning node representations. We call this
phenomenon Graph Information Vanishing (GIV). Also, we find that LTS maps
different graph information into highly similar results. To validate the above
two points, we design two sets of 70 random experiments on five Implicit GNNs
methods and seven benchmark datasets by using a random permutation operator to
randomly disrupt the order of graph information and replacing graph information
with random values. We find that randomization does not affect the model
performance in 93\% of the cases, with about 7 percentage causing an average
0.5\% accuracy loss. And the cosine similarity of output results, generated by
LTS mapping different graph information, over 99\% with an 81\% proportion. The
experimental results provide evidence to support the existence of GIV in
Implicit GNNs and imply that the existing methods of Implicit GNNs do not make
good use of graph information. The relationship between graph information and
LTS should be rethought to ensure that graph information is used in node
representation.
- Abstract（参考訳）: GNNの重要な問題の1つは、ノード表現を学ぶための集約プロセスにおける隣ノードの重要性を記述する方法である。
GNNのクラスは、グラフ注意ネットワークのような暗黙のGNNと呼ばれる近隣ノードの重要性を表現するために暗黙の重みを学習することでこの問題を解決する。
暗黙的なGNNsの基本的な考え方は、データ駆動の方法で隣ノードの重要性をエンコードするLearlable Transformation Structures(LTS)に続く特殊なプロパティを持つグラフ情報を導入することである。
本稿では,この学習過程において,LTSがグラフ情報の特殊特性を消失させ,ノード表現の学習に不適なグラフ情報をもたらすことを論じる。
この現象をグラフ情報消滅(GIV)と呼ぶ。
また、LTSは異なるグラフ情報を非常に類似した結果にマップします。
以上の2点を検証するために, グラフ情報の順序をランダムにディスラプトし, グラフ情報をランダム値に置き換えるランダムな置換演算子を用いて, 5つの暗黙的GNN法と7つのベンチマークデータセットを用いて, 70のランダムな実験の2組を設計した。
その結果、ランダム化はモデル性能に93\%は影響せず、約7%が平均0.5\%の精度損失を引き起こすことがわかった。
また、LTSマッピングによって生成された出力結果のコサイン類似性は、81.%の比率で99.%以上である。
実験結果から,Implicit GNNにおけるGIVの存在を裏付ける証拠が得られ,既存のImplicit GNNの手法がグラフ情報をうまく利用していないことが示唆された。
グラフ情報とltsの関係を再考して、グラフ情報がノード表現で使われるようにすべきである。
関連論文リスト
- SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network [38.669815079957566]
グラフニューラルネットワーク(GNN)は,グラフの伝播と集約によるグラフ構造情報の符号化を主目的とする。
等質グラフ、異質グラフ、知識グラフのようなより複雑なグラフなど、複数の種類のグラフの表現学習において優れた性能を発揮した。
深部GNNの性能劣化現象に対して,新しい視点を提案する。
論文 参考訳（メタデータ） (2024-07-03T02:40:39Z) - Self-attention Dual Embedding for Graphs with Heterophily [6.803108335002346]
多くの実世界のグラフはヘテロ親和性があり、標準のGNNを用いた分類精度ははるかに低い。
ヘテロ親和性グラフとホモ親和性グラフの両方に有効である新しいGNNを設計する。
我々は,数千から数百万のノードを含む実世界のグラフ上でアルゴリズムを評価し,最先端の結果が得られたことを示す。
論文 参考訳（メタデータ） (2023-05-28T09:38:28Z) - Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。
Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-05-18T07:27:18Z) - Measuring and Improving the Use of Graph Information in Graph Neural
Networks [38.41049128525036]
グラフニューラルネットワーク(GNN)は,グラフデータの表現学習に広く利用されている。
本稿では,グラフデータから得られる情報の量と質を測定するための2つのスムーズネス指標を提案する。
CS-GNNと呼ばれる新しいGNNモデルは、グラフの滑らかさ値に基づいてグラフ情報の利用を改善するように設計されている。
論文 参考訳（メタデータ） (2022-06-27T10:27:28Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-29T19:55:12Z) - Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。
最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。
本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
論文 参考訳（メタデータ） (2020-11-19T06:03:35Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z) - XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。
GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。
我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
論文 参考訳（メタデータ） (2020-06-03T23:52:43Z) - Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph
Neural Networks [183.97265247061847]
我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。
GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。
また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
論文 参考訳（メタデータ） (2020-03-08T13:02:15Z) - Explain Graph Neural Networks to Understand Weighted Graph Features in
Node Classification [15.41200827860072]
本稿では,情報成分と重要なノード特徴を特定するために,新しいグラフ特徴の説明手法を提案する。
提案手法は,人間の解釈によってノード分類に使用されるデータパターンを模倣できることを示す。
論文 参考訳（メタデータ） (2020-02-02T23:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。