論文の概要: Graph Convolutional Neural Networks with Node Transition Probability-based Message Passing and DropNode Regularization

• arxiv url: http://arxiv.org/abs/2008.12578v2
• Date: Thu, 18 Mar 2021 13:48:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 01:28:32.294466
• Title: Graph Convolutional Neural Networks with Node Transition Probability-based Message Passing and DropNode Regularization
• Title（参考訳）: ノード遷移確率に基づくメッセージパッシングとDropNode正規化を用いたグラフ畳み込みニューラルネットワーク
• Authors: Tien Huu Do, Duc Minh Nguyen, Giannis Bekoulis, Adrian Munteanu, Nikos Deligiannis
• Abstract要約: 最近、グラフ構造化データを扱う能力のため、グラフ畳み込みニューラルネットワーク(GCNN)が注目されている。 本研究は,ノード遷移確率に基づくメッセージパッシングプロセスを改善するための新しい手法を提案する。 また,DropNodeと呼ばれる新しい正規化手法を提案する。
• 参考スコア（独自算出の注目度）: 32.260055351563324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolutional neural networks (GCNNs) have received much attention recently, owing to their capability in handling graph-structured data. Among the existing GCNNs, many methods can be viewed as instances of a neural message passing motif; features of nodes are passed around their neighbors, aggregated and transformed to produce better nodes' representations. Nevertheless, these methods seldom use node transition probabilities, a measure that has been found useful in exploring graphs. Furthermore, when the transition probabilities are used, their transition direction is often improperly considered in the feature aggregation step, resulting in an inefficient weighting scheme. In addition, although a great number of GCNN models with increasing level of complexity have been introduced, the GCNNs often suffer from over-fitting when being trained on small graphs. Another issue of the GCNNs is over-smoothing, which tends to make nodes' representations indistinguishable. This work presents a new method to improve the message passing process based on node transition probabilities by properly considering the transition direction, leading to a better weighting scheme in nodes' features aggregation compared to the existing counterpart. Moreover, we propose a novel regularization method termed DropNode to address the over-fitting and over-smoothing issues simultaneously. DropNode randomly discards part of a graph, thus it creates multiple deformed versions of the graph, leading to data augmentation regularization effect. Additionally, DropNode lessens the connectivity of the graph, mitigating the effect of over-smoothing in deep GCNNs. Extensive experiments on eight benchmark datasets for node and graph classification tasks demonstrate the effectiveness of the proposed methods in comparison with the state of the art.
• Abstract（参考訳）: 最近、グラフ構造化データを扱う能力のため、グラフ畳み込みニューラルネットワーク(GCNN)が注目されている。 既存のgcnnでは、多くのメソッドがニューラルネットワークのメッセージパッシングモチーフのインスタンスと見なすことができる。 しかしながら、これらの手法はグラフの探索に有用な測度であるノード遷移確率をほとんど使わない。 さらに、遷移確率を使用する場合、それらの遷移方向は特徴集約ステップにおいて不適切に考慮され、非効率な重み付け方式となる。 さらに、複雑さのレベルが増大するGCNNモデルが数多く導入されているが、GCNNは小さなグラフでトレーニングされた時に過度に適合する。 GCNNのもう1つの問題は過剰なスムーシングであり、ノードの表現を区別できない傾向がある。 本研究では,ノードの遷移方向を適切に考慮して,ノードの遷移確率に基づくメッセージパッシングプロセスを改善する手法を提案する。 さらに,オーバーフィッティング問題とオーバースムーシング問題を同時に解決するために,dropnodeと呼ばれる新しい正規化手法を提案する。 DropNodeはグラフの一部をランダムに破棄するので、グラフの複数の変形バージョンを生成し、データ拡張正規化効果をもたらす。 さらに、DropNodeはグラフの接続性を減らし、ディープGCNNにおけるオーバースムースの影響を軽減する。 ノード分類タスクとグラフ分類タスクのための8つのベンチマークデータセットの大規模な実験は、提案手法の有効性を技術状況と比較したものである。

関連論文リスト

• SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network [38.669815079957566]
  グラフニューラルネットワーク(GNN)は,グラフの伝播と集約によるグラフ構造情報の符号化を主目的とする。 等質グラフ、異質グラフ、知識グラフのようなより複雑なグラフなど、複数の種類のグラフの表現学習において優れた性能を発揮した。 深部GNNの性能劣化現象に対して,新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-07-03T02:40:39Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• BOURNE: Bootstrapped Self-supervised Learning Framework for Unified Graph Anomaly Detection [50.26074811655596]
  自己指導型自己学習(BOURNE)に基づく新しい統合グラフ異常検出フレームワークを提案する。 ノードとエッジ間のコンテキスト埋め込みを交換することで、ノードとエッジの異常を相互に検出できる。 BOURNEは、負のサンプリングを必要としないため、大きなグラフを扱う際の効率を高めることができる。
  論文  参考訳（メタデータ） (2023-07-28T00:44:57Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
  本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。 Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:27:18Z)
• $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks [18.772128348519566]
  グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。 本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-01T02:54:35Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• NCGNN: Node-level Capsule Graph Neural Network [45.23653314235767]
  ノードレベルカプセルグラフニューラルネットワーク(ncgnn)は、ノードをカプセル群として表現する。 凝集に適したカプセルを適応的に選択する新しい動的ルーティング手法を開発した。 NCGNNは、過度にスムースな問題に対処でき、分類のためのより良いノード埋め込みを生成することで、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-07T06:46:17Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。