論文の概要: RandAlign: A Parameter-Free Method for Regularizing Graph Convolutional Networks
- arxiv url: http://arxiv.org/abs/2404.09774v1
- Date: Mon, 15 Apr 2024 13:28:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 04:29:54.419063
- Title: RandAlign: A Parameter-Free Method for Regularizing Graph Convolutional Networks
- Title（参考訳）: RandAlign: グラフ畳み込みネットワークの正規化のためのパラメータフリー手法
- Authors: Haimin Zhang, Min Xu,
- Abstract要約: 本稿では,グラフ畳み込みネットワークの正規化手法であるRandAlignを提案する。
RandAlignの考え方は、学習した各ノードの埋め込みと前のレイヤの埋め込みをランダムに整列させることである。
異なるグラフ領域のタスクに対して、7つのベンチマークデータセット上でRandAlignを実験的に評価する。
- 参考スコア（独自算出の注目度）: 13.83680253264399
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Studies continually find that message-passing graph convolutional networks suffer from the over-smoothing issue. Basically, the issue of over-smoothing refers to the phenomenon that the learned embeddings for all nodes can become very similar to one another and therefore are uninformative after repeatedly applying message passing iterations. Intuitively, we can expect the generated embeddings become smooth asymptotically layerwisely, that is each layer of graph convolution generates a smoothed version of embeddings as compared to that generated by the previous layer. Based on this intuition, we propose RandAlign, a stochastic regularization method for graph convolutional networks. The idea of RandAlign is to randomly align the learned embedding for each node with that of the previous layer using randomly interpolation in each graph convolution layer. Through alignment, the smoothness of the generated embeddings is explicitly reduced. To better maintain the benefit yielded by the graph convolution, in the alignment step we introduce to first scale the embedding of the previous layer to the same norm as the generated embedding and then perform random interpolation for aligning the generated embedding. RandAlign is a parameter-free method and can be directly applied without introducing additional trainable weights or hyper-parameters. We experimentally evaluate RandAlign on different graph domain tasks on seven benchmark datasets. The experimental results show that RandAlign is a general method that improves the generalization performance of various graph convolutional network models and also improves the numerical stability of optimization, advancing the state of the art performance for graph representation learning.
- Abstract（参考訳）: メッセージパッシンググラフ畳み込みネットワークは、過度にスムースな問題に悩まされている。
基本的に、オーバー・スムーシングの問題は、すべてのノードに対する学習された埋め込みが互いに非常によく似ており、メッセージパッシングを繰り返し適用した後に非形式的であるという現象を指す。
直感的には、生成した埋め込みが漸近的に滑らかになることを期待しており、グラフ畳み込みの各層は、前の層が生成した埋め込みに比べて滑らかな埋め込みを生成する。
この直感に基づいて,グラフ畳み込みネットワークの確率正規化手法であるRandAlignを提案する。
RandAlignの考え方は、各グラフの畳み込み層でランダムに補間することで、各ノードの学習した埋め込みと前の層の埋め込みをランダムに整列させることである。
アライメントにより、生成された埋め込みの滑らかさを明示的に低減する。
グラフ畳み込みにより得られる利点をよりよく維持するため、アライメントステップでは、まず前層の埋め込みを生成した埋め込みと同じノルムにスケールし、生成した埋め込みを整列するためのランダムな補間を行う。
RandAlignはパラメータフリーのメソッドであり、トレーニング可能なウェイトやハイパーパラメータを導入することなく直接適用することができる。
異なるグラフ領域のタスクに対して、7つのベンチマークデータセット上でRandAlignを実験的に評価する。
実験の結果,RandAlignは様々なグラフ畳み込みネットワークモデルの一般化性能を向上し,最適化の数値安定性を向上し,グラフ表現学習の最先端性能を向上する一般手法であることがわかった。
関連論文リスト
- Improving Graph Neural Networks by Learning Continuous Edge Directions [0.0]
グラフニューラルネットワーク(GNN)は、従来、非指向グラフ上の拡散に似たメッセージパッシング機構を採用している。
私たちのキーとなる洞察は、ファジィエッジ方向をグラフのエッジに割り当てることです。
ファジィエッジを持つグラフを学習するためのフレームワークとして,Continuous Edge Direction (CoED) GNNを提案する。
論文 参考訳（メタデータ） (2024-10-18T01:34:35Z) - Learning to Approximate Adaptive Kernel Convolution on Graphs [4.434835769977399]
本稿では,拡散カーネルのスケールによって特徴集約の範囲を制御できる拡散学習フレームワークを提案する。
本モデルは,最先端データセットの性能評価のためのノードワイズ分類のための様々な標準で検証されている。
グラフ分類のための実世界の脳ネットワークデータにも検証され、アルツハイマー分類の実用性を実証している。
論文 参考訳（メタデータ） (2024-01-22T10:57:11Z) - Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。
提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
論文 参考訳（メタデータ） (2024-01-12T17:57:07Z) - NESS: Node Embeddings from Static SubGraphs [0.0]
本稿では,グラフオートエンコーダ(GAE)を用いて静的サブグラフ(NESS)からノード埋め込みをトランスダクティブに学習するフレームワークを提案する。
NESSは2つの主要なアイデアに基づいている。 i) トレーニンググラフをデータ前処理中にランダムなエッジ分割を使用して、重複しないエッジを持つ複数の静的でスパースなサブグラフに分割する。
我々はNESSがリンク予測タスクに対して、グラフ全体またはサブグラフのいずれかを使用する現在の自動符号化手法と比較して、より良いノード表現を提供することを示した。
論文 参考訳（メタデータ） (2023-03-15T22:14:28Z) - Refined Edge Usage of Graph Neural Networks for Edge Prediction [51.06557652109059]
We propose a novel edge prediction paradigm named Edge-aware Message PassIng neuRal nEtworks (EMPIRE)。
まず,各エッジをトポロジや監督のためにのみ使用するエッジ分割手法を提案する。
監視エッジで接続されたペアと接続されていないペアの差を強調するために、さらにメッセージを重み付けして、その差を反映できる相対的なペアを強調します。
論文 参考訳（メタデータ） (2022-12-25T23:19:56Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Order Matters: Probabilistic Modeling of Node Sequence for Graph
Generation [18.03898476141173]
グラフ生成モデルはグラフ上の分布を定義する。
グラフ上の正確な結合確率とシーケンシャルプロセスのノード順序を導出する。
我々は,従来の手法のアドホックノード順序を使わずに,この境界を最大化してグラフ生成モデルを訓練する。
論文 参考訳（メタデータ） (2021-06-11T06:37:52Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳（メタデータ） (2021-05-22T07:05:48Z) - Multilayer Graph Clustering with Optimized Node Embedding [70.1053472751897]
多層グラフクラスタリングは、グラフノードをカテゴリまたはコミュニティに分割することを目指しています。
与えられた多層グラフの層をクラスタリングに親しみやすい埋め込みを提案する。
実験の結果,本手法は著しい改善をもたらすことがわかった。
論文 参考訳（メタデータ） (2021-03-30T17:36:40Z) - Graph Pooling with Node Proximity for Hierarchical Representation
Learning [80.62181998314547]
本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。
その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
論文 参考訳（メタデータ） (2020-06-19T13:09:44Z) - Fast Sequence-Based Embedding with Diffusion Graphs [8.147652597876862]
ネットワーク埋め込みのためのシーケンスを高速に生成する手法として拡散グラフを提案する。
その計算効率は、より単純なシーケンス生成のため、従来の方法よりも優れている。
コミュニティ検出タスクでは、埋め込み空間内のクラスタリングノードは、他のシーケンスベースの埋め込み方法よりも優れた結果をもたらす。
論文 参考訳（メタデータ） (2020-01-21T12:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。