論文の概要: GraTO: Graph Neural Network Framework Tackling Over-smoothing with
Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2208.09027v1
- Date: Thu, 18 Aug 2022 18:59:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 17:16:56.683632
- Title: GraTO: Graph Neural Network Framework Tackling Over-smoothing with
Neural Architecture Search
- Title（参考訳）: GraTO: ニューラルネットワーク検索によるオーバースムーシングに対処するグラフニューラルネットワークフレームワーク
- Authors: Xinshun Feng, Herun Wan, Shangbin Feng, Hongrui Wang, Jun Zhou,
Qinghua Zheng, Minnan Luo
- Abstract要約: 現在のグラフニューラルネットワーク(GNN)は、過度にスムースな問題に悩まされている。
GraTOは、GNNアーキテクチャを自動的に検索するニューラルネットワーク検索に基づくフレームワークである。
- 参考スコア（独自算出の注目度）: 23.576865714896826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current Graph Neural Networks (GNNs) suffer from the over-smoothing problem,
which results in indistinguishable node representations and low model
performance with more GNN layers. Many methods have been put forward to tackle
this problem in recent years. However, existing tackling over-smoothing methods
emphasize model performance and neglect the over-smoothness of node
representations. Additional, different approaches are applied one at a time,
while there lacks an overall framework to jointly leverage multiple solutions
to the over-smoothing challenge. To solve these problems, we propose GraTO, a
framework based on neural architecture search to automatically search for GNNs
architecture. GraTO adopts a novel loss function to facilitate striking a
balance between model performance and representation smoothness. In addition to
existing methods, our search space also includes DropAttribute, a novel scheme
for alleviating the over-smoothing challenge, to fully leverage diverse
solutions. We conduct extensive experiments on six real-world datasets to
evaluate GraTo, which demonstrates that GraTo outperforms baselines in the
over-smoothing metrics and achieves competitive performance in accuracy. GraTO
is especially effective and robust with increasing numbers of GNN layers.
Further experiments bear out the quality of node representations learned with
GraTO and the effectiveness of model architecture. We make cide of GraTo
available at Github (\url{https://github.com/fxsxjtu/GraTO}).
- Abstract（参考訳）: 現在のグラフニューラルネットワーク(gnns)は、ノード表現の区別がつかない問題や、より多くのgnn層によるモデルパフォーマンスの低下に苦しむ。
近年,この問題に対処するための多くの手法が提案されている。
しかし、既存手法はモデル性能を重視し、ノード表現の過度な滑らかさを無視する。
さらに、異なるアプローチが一度に1つずつ適用されますが、過剰な問題に対して複数のソリューションを共同活用するための全体的なフレームワークが欠如しています。
これらの問題を解決するために,GNNアーキテクチャを自動的に検索するニューラルネットワーク検索に基づくフレームワークGraTOを提案する。
GraTOは、モデルパフォーマンスと表現の滑らかさのバランスを打つために、新しい損失関数を採用している。
既存の方法に加えて、当社の検索スペースには、多種多様なソリューションを十分に活用するための、過剰な問題を軽減するための新しいスキームであるdropattributeも含まれています。
GraToを評価するために、6つの実世界のデータセットに関する広範な実験を行い、GraToがオーバースムースなメトリクスのベースラインを上回り、精度で競争性能を達成することを示した。
GraTOは特に有効で堅牢で、GNNレイヤーの数が増える。
さらなる実験では、GraTOで学んだノード表現の品質とモデルアーキテクチャの有効性を取り上げている。
GraToのcideはGithub(\url{https://github.com/fxsxjtu/GraTO})で公開しています。
関連論文リスト
- WeaveNet for Approximating Two-sided Matching Problems [16.014942651874815]
本稿では,二部グラフ用に設計された新しいグラフニューラルネットワーク(GNN, textitWeaveNet)を提案する。
我々のモデルは,少数のエージェントに対する安定マッチングのために特別に設計された最先端のアルゴリズムとの比較性能に到達した。
論文 参考訳（メタデータ） (2023-10-19T06:32:12Z) - A Model-Agnostic Graph Neural Network for Integrating Local and Global Information [2.6164652182042505]
グラフニューラルネットワーク(GNN)は、さまざまなグラフにフォーカスしたタスクにおいて、有望なパフォーマンスを実現している。
既存のGNNには、ブラックボックスの性質による結果の解釈可能性の欠如と、さまざまな順序の表現を学べないという2つの大きな制限がある。
本稿では,様々な順序の情報を効果的に統合し,高次隣人から知識を抽出し,影響力のあるコンパクトグラフ構造を同定して有意義かつ解釈可能な結果を提供する,モデル非依存型グラフニューラルネットワーク(MaGNet)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-23T19:07:03Z) - LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation [51.552170474958736]
グラフ表現学習においてより効率的なモデルであるLazyGNNを実現するために,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性をキャプチャすることを提案する。
LazyGNNは、ミニバッチのLazyGNNの開発を通じてさらに加速するために、既存のスケーラブルなアプローチ(サンプリング方法など)と互換性がある。
総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
論文 参考訳（メタデータ） (2023-02-03T02:33:07Z) - Reducing Over-smoothing in Graph Neural Networks Using Relational
Embeddings [0.15619750966454563]
本稿では,GNNにおけるオーバー・スムーシング問題の影響を緩和する,シンプルで効率的な手法を提案する。
我々の手法は他の手法と組み合わせて最高の性能を与えることができる。
論文 参考訳（メタデータ） (2023-01-07T19:26:04Z) - On the Trade-off between Over-smoothing and Over-squashing in Deep Graph
Neural Networks [8.105516788827451]
グラフ畳み込み層を積み重ねる場合、オーバースムーシングとオーバースキャッシングが重要な課題である。
我々の研究は、過剰な平滑化と過剰な赤道化がグラフラプラシアンのスペクトルギャップに本質的に関係していることを明らかにする。
適切な妥協を実現するために,エッジの追加と削除を実行可能なアプローチとして提案する。
論文 参考訳（メタデータ） (2022-12-05T15:56:08Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。
我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
論文 参考訳（メタデータ） (2022-10-02T13:19:48Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-02-22T08:16:58Z) - VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using
Vector Quantization [70.8567058758375]
VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。
我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
論文 参考訳（メタデータ） (2021-10-27T11:48:50Z) - Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive
Benchmark Study [100.27567794045045]
ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。
我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
論文 参考訳（メタデータ） (2021-08-24T05:00:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。