論文の概要: GraTO: Graph Neural Network Framework Tackling Over-smoothing with
Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2208.09027v1
- Date: Thu, 18 Aug 2022 18:59:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 17:16:56.683632
- Title: GraTO: Graph Neural Network Framework Tackling Over-smoothing with
Neural Architecture Search
- Title（参考訳）: GraTO: ニューラルネットワーク検索によるオーバースムーシングに対処するグラフニューラルネットワークフレームワーク
- Authors: Xinshun Feng, Herun Wan, Shangbin Feng, Hongrui Wang, Jun Zhou,
Qinghua Zheng, Minnan Luo
- Abstract要約: 現在のグラフニューラルネットワーク(GNN)は、過度にスムースな問題に悩まされている。
GraTOは、GNNアーキテクチャを自動的に検索するニューラルネットワーク検索に基づくフレームワークである。
- 参考スコア（独自算出の注目度）: 23.576865714896826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current Graph Neural Networks (GNNs) suffer from the over-smoothing problem,
which results in indistinguishable node representations and low model
performance with more GNN layers. Many methods have been put forward to tackle
this problem in recent years. However, existing tackling over-smoothing methods
emphasize model performance and neglect the over-smoothness of node
representations. Additional, different approaches are applied one at a time,
while there lacks an overall framework to jointly leverage multiple solutions
to the over-smoothing challenge. To solve these problems, we propose GraTO, a
framework based on neural architecture search to automatically search for GNNs
architecture. GraTO adopts a novel loss function to facilitate striking a
balance between model performance and representation smoothness. In addition to
existing methods, our search space also includes DropAttribute, a novel scheme
for alleviating the over-smoothing challenge, to fully leverage diverse
solutions. We conduct extensive experiments on six real-world datasets to
evaluate GraTo, which demonstrates that GraTo outperforms baselines in the
over-smoothing metrics and achieves competitive performance in accuracy. GraTO
is especially effective and robust with increasing numbers of GNN layers.
Further experiments bear out the quality of node representations learned with
GraTO and the effectiveness of model architecture. We make cide of GraTo
available at Github (\url{https://github.com/fxsxjtu/GraTO}).
- Abstract（参考訳）: 現在のグラフニューラルネットワーク(gnns)は、ノード表現の区別がつかない問題や、より多くのgnn層によるモデルパフォーマンスの低下に苦しむ。
近年,この問題に対処するための多くの手法が提案されている。
しかし、既存手法はモデル性能を重視し、ノード表現の過度な滑らかさを無視する。
さらに、異なるアプローチが一度に1つずつ適用されますが、過剰な問題に対して複数のソリューションを共同活用するための全体的なフレームワークが欠如しています。
これらの問題を解決するために,GNNアーキテクチャを自動的に検索するニューラルネットワーク検索に基づくフレームワークGraTOを提案する。
GraTOは、モデルパフォーマンスと表現の滑らかさのバランスを打つために、新しい損失関数を採用している。
既存の方法に加えて、当社の検索スペースには、多種多様なソリューションを十分に活用するための、過剰な問題を軽減するための新しいスキームであるdropattributeも含まれています。
GraToを評価するために、6つの実世界のデータセットに関する広範な実験を行い、GraToがオーバースムースなメトリクスのベースラインを上回り、精度で競争性能を達成することを示した。
GraTOは特に有効で堅牢で、GNNレイヤーの数が増える。
さらなる実験では、GraTOで学んだノード表現の品質とモデルアーキテクチャの有効性を取り上げている。
GraToのcideはGithub(\url{https://github.com/fxsxjtu/GraTO})で公開しています。
関連論文リスト
- Effects of Random Edge-Dropping on Over-Squashing in Graph Neural Networks [8.524684315458243]
遠方ノード間の感度に対するDropEdgeの負の効果を特徴付ける理論的結果を示す。
我々の発見は容易にその変種に拡張され、過度な監視にどのように影響するかを包括的に理解することが可能になる。
我々の結論は、深いGNNを訓練するために設計された様々な手法を再評価する必要性を浮き彫りにする。
論文 参考訳（メタデータ） (2025-02-11T08:36:38Z) - Mamba-Based Graph Convolutional Networks: Tackling Over-smoothing with Selective State Space [33.677431350509224]
本稿では,Mambaパラダイムからインスピレーションを得た新しいグラフ畳み込みアーキテクチャであるMbaGCNを紹介する。
MbaGCNは、Message Aggregation Layer、Selective State Space Transition Layer、Node State Prediction Layerという3つの重要なコンポーネントで構成されるGNNの新しいバックボーンを提供する。
論文 参考訳（メタデータ） (2025-01-26T09:09:44Z) - Mixture of Experts Meets Decoupled Message Passing: Towards General and Adaptive Node Classification [4.129489934631072]
グラフニューラルネットワークはグラフ表現学習において優れているが、異種データと長距離依存に苦慮している。
ノード分類のための汎用モデルアーキテクチャであるGNNMoEを提案する。
GNNMoEは様々なグラフデータに対して優れた性能を示し、過度にスムースな問題や大域的なノイズを効果的に軽減している。
論文 参考訳（メタデータ） (2024-12-11T08:35:13Z) - LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation [51.552170474958736]
グラフ表現学習においてより効率的なモデルであるLazyGNNを実現するために,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性をキャプチャすることを提案する。
LazyGNNは、ミニバッチのLazyGNNの開発を通じてさらに加速するために、既存のスケーラブルなアプローチ(サンプリング方法など)と互換性がある。
総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
論文 参考訳（メタデータ） (2023-02-03T02:33:07Z) - Reducing Over-smoothing in Graph Neural Networks Using Relational
Embeddings [0.15619750966454563]
本稿では,GNNにおけるオーバー・スムーシング問題の影響を緩和する,シンプルで効率的な手法を提案する。
我々の手法は他の手法と組み合わせて最高の性能を与えることができる。
論文 参考訳（メタデータ） (2023-01-07T19:26:04Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。
我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
論文 参考訳（メタデータ） (2022-10-02T13:19:48Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-02-22T08:16:58Z) - VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using
Vector Quantization [70.8567058758375]
VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。
我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
論文 参考訳（メタデータ） (2021-10-27T11:48:50Z) - Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive
Benchmark Study [100.27567794045045]
ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。
我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
論文 参考訳（メタデータ） (2021-08-24T05:00:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。