論文の概要: Sparsifying the Update Step in Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2109.00909v1
- Date: Thu, 2 Sep 2021 13:06:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-03 14:02:07.725657
- Title: Sparsifying the Update Step in Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークにおける更新ステップのスパース化
- Authors: Johannes F. Lutzeyer, Changmin Wu, Michalis Vazirgiannis
- Abstract要約: 更新ステップとして知られるMPNNのトレーニング可能な部分にスパシフィケーションが及ぼす影響について検討する。
具体的には、調整可能なスペーシングレートを持つExpanderGNNモデルと、更新ステップに線形変換を持たないActivation-Only GNNを提案する。
我々の新しいベンチマークモデルは、モデルパフォーマンスに対するアップデートのステップの影響をよりよく理解することを可能にする。
- 参考スコア（独自算出の注目度）: 15.446125349239534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Message-Passing Neural Networks (MPNNs), the most prominent Graph Neural
Network (GNN) framework, celebrate much success in the analysis of
graph-structured data. Concurrently, the sparsification of Neural Network
models attracts a great amount of academic and industrial interest. In this
paper, we conduct a structured study of the effect of sparsification on the
trainable part of MPNNs known as the Update step. To this end, we design a
series of models to successively sparsify the linear transform in the Update
step. Specifically, we propose the ExpanderGNN model with a tuneable
sparsification rate and the Activation-Only GNN, which has no linear transform
in the Update step. In agreement with a growing trend in the literature, the
sparsification paradigm is changed by initialising sparse neural network
architectures rather than expensively sparsifying already trained
architectures. Our novel benchmark models enable a better understanding of the
influence of the Update step on model performance and outperform existing
simplified benchmark models such as the Simple Graph Convolution. The
ExpanderGNNs, and in some cases the Activation-Only models, achieve performance
on par with their vanilla counterparts on several downstream tasks while
containing significantly fewer trainable parameters. In experiments with
matching parameter numbers, our benchmark models outperform the
state-of-the-art GNN models. Our code is publicly available at:
https://github.com/ChangminWu/ExpanderGNN.
- Abstract（参考訳）: 最も著名なグラフニューラルネットワーク(GNN)フレームワークであるMessage-Passing Neural Networks(MPNN)は、グラフ構造化データの解析において大きな成功を祝っている。
同時に、ニューラルネットワークモデルのスパーシフィケーションは、多くの学術的および産業的な関心を惹きつけます。
本稿では,更新ステップとして知られるmpnnの学習可能な部分に対するスパーシフィケーションの効果に関する構造化研究を行う。
この目的のために,更新ステップで線形変換を逐次スパース化するために,一連のモデルを設計する。
具体的には、調整可能なスペーシングレートを持つExpanderGNNモデルと、更新ステップに線形変換を持たないActivation-Only GNNを提案する。
文献の傾向と一致して、スパース化のパラダイムは、トレーニング済みのアーキテクチャを高価なスパース化するのではなく、スパースニューラルネットワークアーキテクチャを初期化することで変化している。
提案するベンチマークモデルは,更新ステップがモデル性能に与える影響をよりよく理解し,単純なグラフ畳み込みのような既存の簡易ベンチマークモデルよりも優れている。
アクティベーションのみのモデルであるexpandergnnは、いくつかの下流タスクのバニラと同等のパフォーマンスを達成し、トレーニング可能なパラメータをかなり少なくする。
パラメータ数に一致する実験では、我々のベンチマークモデルは最先端のGNNモデルよりも優れている。
私たちのコードは、https://github.com/ChangminWu/ExpanderGNNで公開されています。
関連論文リスト
- DTFormer: A Transformer-Based Method for Discrete-Time Dynamic Graph Representation Learning [38.53424185696828]
離散時間動的グラフ(DTDG)の表現学習は、時間的に変化するエンティティとその進化する接続のダイナミクスをモデル化するために広く応用されている。
本稿では,従来の GNN+RNN フレームワークから Transformer ベースのアーキテクチャへ移行した DTDG のための表現学習手法 DTFormer を提案する。
論文 参考訳（メタデータ） (2024-07-26T05:46:23Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Simple yet Effective Gradient-Free Graph Convolutional Networks [20.448409424929604]
近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。
本稿では,過度な平滑化と消失する勾配現象を関連づけ,勾配のないトレーニングフレームワークを構築する。
提案手法は, ノード分類タスクにおいて, 深度や訓練時間を大幅に短縮して, より優れた, より安定した性能を実現する。
論文 参考訳（メタデータ） (2023-02-01T11:00:24Z) - Bag of Tricks of Semi-Supervised Classification with Graph Neural
Networks [0.0]
本稿では,まず,既存の改良点の集合を概説し,モデル設計とラベル使用に関するいくつかの新しい手法を提案する。
アブレーション研究を通じて,最終モデル精度への影響を実証的に評価し,モデルアーキテクチャの改善による利益を上回る程度まで,様々なgnnモデルを大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-03-24T17:24:26Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳（メタデータ） (2020-12-10T22:30:25Z) - Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。
我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
論文 参考訳（メタデータ） (2020-10-06T01:20:27Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳（メタデータ） (2020-10-05T04:57:18Z) - Streaming Graph Neural Networks via Continual Learning [31.810308087441445]
グラフニューラルネットワーク(GNN)は様々なアプリケーションで高いパフォーマンスを実現している。
本稿では,連続学習に基づくストリーミングGNNモデルを提案する。
モデルパラメータを効率的に更新し、モデル再トレーニングに匹敵する性能が得られることを示す。
論文 参考訳（メタデータ） (2020-09-23T06:52:30Z) - Recurrent Graph Tensor Networks: A Low-Complexity Framework for
Modelling High-Dimensional Multi-Way Sequence [24.594587557319837]
我々は、リカレントニューラルネットワーク(RNN)における隠れ状態のモデリングを近似するグラフフィルタフレームワークを開発する。
提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。
提案したRGTNは,標準RNNよりも優れるだけでなく,従来のRNNと関連する次元の曲線を緩和できることを示す。
論文 参考訳（メタデータ） (2020-09-18T10:13:36Z) - GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。
生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。
GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2020-06-27T20:12:33Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。