論文の概要: TuneUp: A Training Strategy for Improving Generalization of Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2210.14843v1
• Date: Wed, 26 Oct 2022 16:42:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 12:53:10.803830
• Title: TuneUp: A Training Strategy for Improving Generalization of Graph Neural Networks
• Title（参考訳）: TuneUp: グラフニューラルネットワークの一般化を改善するためのトレーニング戦略
• Authors: Weihua Hu, Kaidi Cao, Kexin Huang, Edward W Huang, Karthik Subbian, Jure Leskovec
• Abstract要約: 我々は、GNNのより良いトレーニングのためのカリキュラム学習戦略であるTuneUpを紹介する。 TuneUpはGNNを2段階に分けて訓練する。 第2ステージは、テールノードの予測を改善することに焦点を当てている。
• 参考スコア（独自算出の注目度）: 68.79140444839264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite many advances in Graph Neural Networks (GNNs), their training strategies simply focus on minimizing a loss over nodes in a graph. However, such simplistic training strategies may be sub-optimal as they neglect that certain nodes are much harder to make accurate predictions on than others. Here we present TuneUp, a curriculum learning strategy for better training GNNs. Crucially, TuneUp trains a GNN in two stages. The first stage aims to produce a strong base GNN. Such base GNNs tend to perform well on head nodes (nodes with large degrees) but less so on tail nodes (nodes with small degrees). So, the second stage of TuneUp specifically focuses on improving prediction on tail nodes. Concretely, TuneUp synthesizes many additional supervised tail node data by dropping edges from head nodes and reusing the supervision on the original head nodes. TuneUp then minimizes the loss over the synthetic tail nodes to finetune the base GNN. TuneUp is a general training strategy that can be used with any GNN architecture and any loss, making TuneUp applicable to a wide range of prediction tasks. Extensive evaluation of TuneUp on two GNN architectures, three types of prediction tasks, and both inductive and transductive settings shows that TuneUp significantly improves the performance of the base GNN on tail nodes, while often even improving the performance on head nodes, which together leads up to 58.5% relative improvement in GNN predictive performance. Moreover, TuneUp significantly outperforms its variants without the two-stage curriculum learning, existing graph data augmentation techniques, as well as other specialized methods for tail nodes.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)の多くの進歩にもかかわらず、そのトレーニング戦略は単にグラフのノード上の損失を最小化することに集中している。 しかし、そのような単純なトレーニング戦略は、特定のノードが他のノードよりも正確な予測を行うのがはるかに難しいことを無視するため、準最適である可能性がある。 ここでは、GNNのトレーニングを改善するためのカリキュラム学習戦略であるTuneUpを紹介する。 重要なことに、TuneUpはGNNを2段階に分けて訓練している。 第1ステージは強いベースgnnの制作を目指している。 このようなベースGNNは、ヘッドノード(大きな次数を持つノード)ではよく機能するが、テールノード(小さな次数を持つノード)では性能が低い。 そのため、TuneUpの第2ステージは、テールノードの予測の改善に特化している。 具体的には、TuneUpは、ヘッドノードからエッジをドロップし、元のヘッドノードの監視を再利用することで、多くの教師付きテールノードデータを合成する。 tuneupは合成テールノードの損失を最小限にし、ベースgnnを微調整する。 TuneUpは、あらゆるGNNアーキテクチャと損失で使用できる一般的なトレーニング戦略であり、TuneUpは幅広い予測タスクに適用できる。 2つのGNNアーキテクチャ、3種類の予測タスク、およびインダクティブおよびトランスダクティブな設定によるTuneUpの広範囲な評価は、TuneUpが尾ノードのベースGNNのパフォーマンスを著しく改善する一方で、ヘッドノードのパフォーマンスも改善し、GNNの予測性能は58.5%向上したことを示している。 さらにtuneupは、2段階のカリキュラム学習や既存のグラフデータ拡張技術、テールノードのための他の特別な方法なしで、その変種を大きく上回っている。

関連論文リスト

• Can Graph Reordering Speed Up Graph Neural Network Training? An Experimental Study [13.354505458409957]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習することができる。 グラフのばらつきは、最適以下のメモリアクセスパターンと長いトレーニング時間をもたらす。 グラフの並べ替えは、CPUおよびGPUベースのトレーニングのトレーニング時間を削減するのに有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-17T12:28:02Z)
• Node Duplication Improves Cold-start Link Prediction [52.917775253887264]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習において顕著である。 近年の研究では、GNNは低次ノードで良い結果を出すのに苦労していることが示されている。 我々はNodeDupと呼ばれるシンプルだが驚くほど効果的な拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T05:07:39Z)
• GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
  本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。 本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。 DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
  論文  参考訳（メタデータ） (2023-10-23T05:51:59Z)
• Search to Fine-tune Pre-trained Graph Neural Networks for Graph-level Tasks [22.446655655309854]
  グラフニューラルネットワーク(GNN)は多くのグラフ関連タスクで前例のない成功を収めた。 最近の取り組みでは、大規模未ラベルグラフ上でGNNを事前訓練し、未ラベルグラフからの知識を目標下流タスクに適応させようとしている。 微調整の重要性にもかかわらず、現在のGNNの事前訓練作業は、優れた微調整戦略の設計を無視することが多い。
  論文  参考訳（メタデータ） (2023-08-14T06:32:02Z)
• Fast and Effective GNN Training with Linearized Random Spanning Trees [20.73637495151938]
  ノード分類タスクにおいて,GNNをトレーニングするための,より効果的でスケーラブルなフレームワークを提案する。 提案手法は, ランダムに分布する木々の広範囲に分布するGNN重みを徐々に改善する。 これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
  論文  参考訳（メタデータ） (2023-06-07T23:12:42Z)
• Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision [13.180922099929765]
  ディープグラフニューラルネットワーク(GNN)は、層数が増加すると過度に滑らかになる。 本研究では,すべての層で学習した表現を訓練に利用するDSGNNを提案する。 DSGNNは過度に平滑であり,ノードおよびグラフ特性予測問題における競合ベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-25T06:05:55Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。