論文の概要: SSFG: Stochastically Scaling Features and Gradients for Regularizing Graph Convolution Networks

• arxiv url: http://arxiv.org/abs/2102.10338v1
• Date: Sat, 20 Feb 2021 12:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 09:26:25.336268
• Title: SSFG: Stochastically Scaling Features and Gradients for Regularizing Graph Convolution Networks
• Title（参考訳）: SSFG:グラフ畳み込みネットワークの正規化のための確率的スケーリング機能と勾配
• Authors: Haimin Zhang, Min Xu
• Abstract要約: 繰り返しグラフ畳み込みを適用すると、余計な問題を引き起こす可能性がある。 この問題に対処するための正規化手法を提案する。 本手法は,ベースライングラフネットワーク全体の性能を効果的に改善する。
• 参考スコア（独自算出の注目度）: 7.075802972628797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph convolutional networks have been successfully applied in various graph-based tasks. In a typical graph convolutional layer, node features are computed by aggregating neighborhood information. Repeatedly applying graph convolutions can cause the oversmoothing issue, i.e., node features converge to similar values. This is one of the major reasons that cause overfitting in graph learning, resulting in the model fitting well to training data while not generalizing well on test data. In this paper, we present a stochastic regularization method to address this issue. In our method, we stochastically scale features and gradients (SSFG) by a factor sampled from a probability distribution in the training procedure. We show that applying stochastic scaling at the feature level is complementary to that at the gradient level in improving the overall performance. When used together with ReLU, our method can be seen as a stochastic ReLU. We experimentally validate our SSFG regularization method on seven benchmark datasets for different graph-based tasks. Extensive experimental results demonstrate that our method effectively improves the overall performance of the baseline graph networks.
• Abstract（参考訳）: グラフ畳み込みネットワークは、様々なグラフベースのタスクにうまく適用されている。 典型的なグラフ畳み込み層では、ノードの特徴は近傍情報を集約することで計算される。 繰り返しグラフの畳み込みを適用すると、過剰な問題、すなわちノードの特徴が同様の値に収束する。 これは、グラフ学習が過剰に適合する主な理由の1つであり、モデルがテストデータにうまく一般化せず、トレーニングデータに適合する結果となる。 本稿では,この問題に対処する確率正規化手法を提案する。 本手法では、訓練手順における確率分布から抽出した因子により、特徴と勾配(SSFG)を確率的にスケールする。 機能レベルで確率的スケーリングを適用することは、全体的なパフォーマンスを改善するための勾配レベルでのスケーリングと相補的であることを示す。 ReLUと併用すると,この手法は確率的ReLUと見なすことができる。 グラフベースのタスクの7つのベンチマークデータセット上で,SSFG正規化手法を実験的に検証した。 広範な実験結果から,本手法がベースライングラフネットワーク全体の性能を効果的に改善できることが示された。

関連論文リスト

• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Addressing Heterophily in Node Classification with Graph Echo State Networks [11.52174067809364]
  ノード分類のためのグラフエコー状態ネットワーク(GESN)を用いた異種グラフの課題に対処する。 GESNはグラフのための貯水池計算モデルであり、ノードの埋め込みは訓練されていないメッセージパッシング関数によって計算される。 実験の結果, 貯水池モデルでは, ほぼ完全に訓練された深層モデルに対して, より優れた精度あるいは同等の精度が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-14T19:42:31Z)
• From Spectral Graph Convolutions to Large Scale Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は、様々なタスクにうまく適用された強力な概念であることが示されている。 古典グラフ理論の関連部分を含むGCNの定義への道を開いた理論を考察する。
  論文  参考訳（メタデータ） (2022-07-12T16:57:08Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Effective Eigendecomposition based Graph Adaptation for Heterophilic Networks [0.5309004257911242]
  本稿では、固有分解に基づくアプローチを提案し、異種グラフ上でのGNNの性能を改善するための固有ネットモデルを提案する。 提案手法は異種グラフの最先端手法よりも最大11%の性能向上を実現している。
  論文  参考訳（メタデータ） (2021-07-28T12:14:07Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。