論文の概要: Orthogonal Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2109.11338v1
• Date: Thu, 23 Sep 2021 12:39:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-24 15:15:26.082658
• Title: Orthogonal Graph Neural Networks
• Title（参考訳）: 直交グラフニューラルネットワーク
• Authors: Kai Guo, Kaixiong Zhou, Xia Hu, Yu Li, Yi Chang, Xin Wang
• Abstract要約: グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
• 参考スコア（独自算出の注目度）: 53.466187667936026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have received tremendous attention due to their superiority in learning node representations. These models rely on message passing and feature transformation functions to encode the structural and feature information from neighbors. However, stacking more convolutional layers significantly decreases the performance of GNNs. Most recent studies attribute this limitation to the over-smoothing issue, where node embeddings converge to indistinguishable vectors. Through a number of experimental observations, we argue that the main factor degrading the performance is the unstable forward normalization and backward gradient resulted from the improper design of the feature transformation, especially for shallow GNNs where the over-smoothing has not happened. Therefore, we propose a novel orthogonal feature transformation, named Ortho-GConv, which could generally augment the existing GNN backbones to stabilize the model training and improve the model's generalization performance. Specifically, we maintain the orthogonality of the feature transformation comprehensively from three perspectives, namely hybrid weight initialization, orthogonal transformation, and orthogonal regularization. By equipping the existing GNNs (e.g. GCN, JKNet, GCNII) with Ortho-GConv, we demonstrate the generality of the orthogonal feature transformation to enable stable training, and show its effectiveness for node and graph classification tasks.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 これらのモデルは、メッセージパッシングと機能変換関数に依存して、隣接する構造情報と特徴情報をエンコードする。 しかし、より畳み込み層を積み重ねることで、GNNの性能が大幅に低下する。 最近の研究では、ノード埋め込みが区別できないベクトルに収束するオーバースムーシングの問題にこの制限が当てはまる。 多くの実験的な観察を通して、特に過度なスムーシングが起こらなかった浅いGNNにおいて、性能を劣化させる主な要因は不安定な前方正規化と後方勾配であり、特徴変換の不適切な設計によるものであると論じている。 そこで我々は,モデルトレーニングの安定化と一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvという新しい直交特徴変換を提案する。 具体的には,ハイブリッドウェイト初期化,直交変換,直交正規化という3つの視点から,特徴変換の直交性を包括的に維持する。 既存のGNN(例えば、GCN, JKNet, GCNII)をOrtho-GConvと組み合わせることで、直交特徴変換の汎用性を実証し、安定したトレーニングを可能にし、ノード分類およびグラフ分類タスクの有効性を示す。

関連論文リスト

• Point Cloud Denoising With Fine-Granularity Dynamic Graph Convolutional Networks [58.050130177241186]
  ノイズの摂動は、しばしば3次元の点雲を破損させ、表面の再構成、レンダリング、さらなる処理といった下流のタスクを妨げる。 本稿では,GDGCNと呼ばれる粒度動的グラフ畳み込みネットワークについて紹介する。
  論文  参考訳（メタデータ） (2024-11-21T14:19:32Z)
• Learning to Control the Smoothness of Graph Convolutional Network Features [9.949988676706418]
  本稿では,グラフ畳み込みネットワーク(GCN)が所望の滑らかさでノード特徴を学習するための新しい戦略を提案する。 我々はReLUの入力と出力の幾何学的関係を確立する。 幾何学的洞察に基づいて、我々はグラフ畳み込み層のメッセージパッシングプロセスを学習可能な用語で拡張し、ノードの特徴の滑らかさを調節する。
  論文  参考訳（メタデータ） (2024-10-18T16:57:27Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• On the Initialization of Graph Neural Networks [10.153841274798829]
  グラフニューラルネットワーク層間の前方・後方伝播のばらつきを解析する。 GNN最適化(Virgo)における可変不安定化のための新しい手法を提案する。 15のデータセットで包括的な実験を行い、Virgoが優れたモデルパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:55:49Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Feature Correlation Aggregation: on the Path to Better Graph Neural Networks [37.79964911718766]
  グラフニューラルネットワーク(GNN)が導入される以前、不規則なデータ、特にグラフのモデリングと解析は、ディープラーニングのアキレスのヒールであると考えられていた。 本稿では,GNNのコア操作に対して,極めて単純かつ無作為な修正を施した中央ノード置換変分関数を提案する。 モデルの具体的な性能向上は、モデルがより少ないパラメータを使用しながら、有意なマージンで過去の最先端結果を上回った場合に観察される。
  論文  参考訳（メタデータ） (2021-09-20T05:04:26Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。