論文の概要: The Split Matters: Flat Minima Methods for Improving the Performance of GNNs

• arxiv url: http://arxiv.org/abs/2306.09121v1
• Date: Thu, 15 Jun 2023 13:29:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 14:34:53.029070
• Title: The Split Matters: Flat Minima Methods for Improving the Performance of GNNs
• Title（参考訳）: 分割事項:GNNの性能向上のためのフラットミニマ法
• Authors: Nicolas Lell and Ansgar Scherp
• Abstract要約: グラフニューラルネットワーク(GNN)のトレーニングのための平らなミニマ法とそれらの組み合わせについて検討する。 我々は,異なる列車試験分割による,小規模かつ大規模な引用,共同購入,およびタンパク質データセットの実験を行った。 実験結果から, 列車分割がランダム化される場合, 平坦なミニマ法はGNNモデルの性能を2点以上向上できることがわかった。
• 参考スコア（独自算出の注目度）: 2.9443230571766854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When training a Neural Network, it is optimized using the available training data with the hope that it generalizes well to new or unseen testing data. At the same absolute value, a flat minimum in the loss landscape is presumed to generalize better than a sharp minimum. Methods for determining flat minima have been mostly researched for independent and identically distributed (i. i. d.) data such as images. Graphs are inherently non-i. i. d. since the vertices are edge-connected. We investigate flat minima methods and combinations of those methods for training graph neural networks (GNNs). We use GCN and GAT as well as extend Graph-MLP to work with more layers and larger graphs. We conduct experiments on small and large citation, co-purchase, and protein datasets with different train-test splits in both the transductive and inductive training procedure. Results show that flat minima methods can improve the performance of GNN models by over 2 points, if the train-test split is randomized. Following Shchur et al., randomized splits are essential for a fair evaluation of GNNs, as other (fixed) splits like 'Planetoid' are biased. Overall, we provide important insights for improving and fairly evaluating flat minima methods on GNNs. We recommend practitioners to always use weight averaging techniques, in particular EWA when using early stopping. While weight averaging techniques are only sometimes the best performing method, they are less sensitive to hyperparameters, need no additional training, and keep the original model unchanged. All source code is available in https://github.com/Foisunt/FMMs-in-GNNs.
• Abstract（参考訳）: ニューラルネットワークをトレーニングする場合、利用可能なトレーニングデータを使用して最適化される。 同じ絶対値では、損失ランドスケープの平坦な最小値は、シャープな最小値よりも良く一般化すると仮定される。 平坦な最小値を決定する手法は,画像などの独立かつ同一に分布するデータに対して研究されている。 グラフは本質的に非iである。 私は... d. 頂点はエッジに接続されている。 グラフニューラルネットワーク(gnns)の学習のためのフラットミニマ手法とそれらの組み合わせについて検討した。 GCNとGATを使用して、より多くのレイヤと大きなグラフを扱うようにGraph-MLPを拡張しています。 トランスダクティブトレーニングとインダクティブトレーニングの両方において,異なる列車間隔で,小規模かつ大規模な引用,共購入,およびタンパク質データセットの実験を行った。 実験結果から, 列車分割がランダム化される場合, 平坦なミニマ法はGNNモデルの性能を2点以上向上できることがわかった。 Shchurらに続いて、ランダム化された分割はGNNの公平な評価に不可欠であり、"Planetoid"のような他の(固定された)分割は偏りがある。 全体として、GNN上でのフラットなミニマメソッドの改良と評価に重要な洞察を提供する。 早期停止を使用する場合、特にewaでは、常に重量平均技術を使うことを推奨する。 ウェイト平均化技術は時として最高の手法であるが、ハイパーパラメータに敏感で、追加のトレーニングを必要とせず、元のモデルを変更しない。 すべてのソースコードはhttps://github.com/Foisunt/FMMs-in-GNNsで入手できる。

関連論文リスト

• Classifying Nodes in Graphs without GNNs [50.311528896010785]
  本稿では,完全GNNフリーなノード分類手法を提案する。 本手法は, 滑らかさ制約, 擬似ラベル反復, 近傍ラベルヒストグラムの3つの主要成分からなる。
  論文  参考訳（メタデータ） (2024-02-08T18:59:30Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks [2.4175455407547015]
  グラフニューラルネットワークは、隣人からの情報を集約することでノードを表現することを学ぶ。 いくつかの既存手法では、ノードの小さなサブセットをサンプリングし、GNNをもっと大きなグラフにスケールすることで、この問題に対処している。 本稿では,GNNのトレーニングに不可欠なノードの集合を識別する適応サンプリング手法であるGRAPESを紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:08:47Z)
• Sharpness-Aware Graph Collaborative Filtering [31.133543641102914]
  グラフニューラルネットワーク(GNN)は、協調トレーニングにおいて素晴らしいパフォーマンスを達成した。 GNNは、分散とテストデータの整合性が良くない場合、性能が劣る傾向にある。 我々は,テクティットフレーターのミニマがSAMitsharperよりも優れたフィルタリング能力を有するという原則の下で,gSAMと呼ばれる効果的なトレーニングスキーマを提案する。
  論文  参考訳（メタデータ） (2023-07-18T01:02:20Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Towards Sparsification of Graph Neural Networks [9.568566305616656]
  我々は2つの最先端モデル圧縮手法を用いて、GNNにおける重み付け層の分散化を訓練・訓練し、スパーストレーニングを行う。 実世界のグラフ上で,両手法の精度,訓練空間性,および FLOP の学習効率を評価し,比較する。
  論文  参考訳（メタデータ） (2022-09-11T01:39:29Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation [13.815063206114713]
  グラフニューラルネットワーク(GNN)の精度を向上させるための新しい一貫性トレーニング手法を提案する。 対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。 提案手法は, 推定した近傍サンプルの予測値に近似し, 実質的には少数のサンプルしか必要としない。
  論文  参考訳（メタデータ） (2021-10-12T19:24:42Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。