論文の概要: Simple yet Effective Gradient-Free Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2302.00371v1
• Date: Wed, 1 Feb 2023 11:00:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-02 17:32:25.811760
• Title: Simple yet Effective Gradient-Free Graph Convolutional Networks
• Title（参考訳）: 単純かつ効果的なグラデーションフリーグラフ畳み込みネットワーク
• Authors: Yulin Zhu, Xing Ai, Qimai Li, Xiao-Ming Wu, Kai Zhou
• Abstract要約: 近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。 本稿では,過度な平滑化と消失する勾配現象を関連づけ,勾配のないトレーニングフレームワークを構築する。 提案手法は, ノード分類タスクにおいて, 深度や訓練時間を大幅に短縮して, より優れた, より安定した性能を実現する。
• 参考スコア（独自算出の注目度）: 20.448409424929604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linearized Graph Neural Networks (GNNs) have attracted great attention in recent years for graph representation learning. Compared with nonlinear Graph Neural Network (GNN) models, linearized GNNs are much more time-efficient and can achieve comparable performances on typical downstream tasks such as node classification. Although some linearized GNN variants are purposely crafted to mitigate ``over-smoothing", empirical studies demonstrate that they still somehow suffer from this issue. In this paper, we instead relate over-smoothing with the vanishing gradient phenomenon and craft a gradient-free training framework to achieve more efficient and effective linearized GNNs which can significantly overcome over-smoothing and enhance the generalization of the model. The experimental results demonstrate that our methods achieve better and more stable performances on node classification tasks with varying depths and cost much less training time.
• Abstract（参考訳）: 近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。 非線形グラフニューラルネットワーク(GNN)モデルと比較して、線形化されたGNNはより時間効率が良く、ノード分類のような典型的な下流タスクで同等のパフォーマンスが得られる。 いくつかの線形化gnn変種は、``over-smoothing'を緩和するために意図的に作られたものであるが、実証的な研究は、まだこの問題に苦しむことを証明している。 そこで本稿では, 過度に平滑化を克服し, モデルの一般化を促進できる, より効率的かつ効率的な線形化GNNを実現するために, 勾配のないトレーニングフレームワークを構築する。 実験の結果,本手法は,深さやコストの異なるノード分類タスクにおいて,より良く,より安定した性能が得られることがわかった。

関連論文リスト

• Faster Inference Time for GNNs using coarsening [1.323700980948722]
  粗い手法はグラフを小さくするために使われ、計算が高速化される。 これまでの調査では、推論中にコストに対処できなかった。 本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T06:27:24Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Fast and Effective GNN Training with Linearized Random Spanning Trees [20.73637495151938]
  ノード分類タスクにおいて,GNNをトレーニングするための,より効果的でスケーラブルなフレームワークを提案する。 提案手法は, ランダムに分布する木々の広範囲に分布するGNN重みを徐々に改善する。 これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
  論文  参考訳（メタデータ） (2023-06-07T23:12:42Z)
• LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation [51.552170474958736]
  グラフ表現学習においてより効率的なモデルであるLazyGNNを実現するために,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性をキャプチャすることを提案する。 LazyGNNは、ミニバッチのLazyGNNの開発を通じてさらに加速するために、既存のスケーラブルなアプローチ(サンプリング方法など)と互換性がある。 総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2023-02-03T02:33:07Z)
• Reducing Over-smoothing in Graph Neural Networks Using Relational Embeddings [0.15619750966454563]
  本稿では,GNNにおけるオーバー・スムーシング問題の影響を緩和する,シンプルで効率的な手法を提案する。 我々の手法は他の手法と組み合わせて最高の性能を与えることができる。
  論文  参考訳（メタデータ） (2023-01-07T19:26:04Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。