論文の概要: TuneUp: A Simple Improved Training Strategy for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2210.14843v2
• Date: Sat, 26 Aug 2023 23:25:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 01:36:24.392351
• Title: TuneUp: A Simple Improved Training Strategy for Graph Neural Networks
• Title（参考訳）: TuneUp: グラフニューラルネットワークのトレーニング戦略をシンプルに改善
• Authors: Weihua Hu, Kaidi Cao, Kexin Huang, Edward W Huang, Karthik Subbian, Kenji Kawaguchi, Jure Leskovec
• Abstract要約: グラフニューラルネットワーク(GNN)の予測性能向上のためのカリキュラムベースのトレーニング戦略であるTuneUpを提案する。 第1段階では、TuneUpは従来のトレーニングを適用して、強力なベースGNNを取得する。 TuneUpの第2段階は、合成されたテールノードデータに基づいてベースGNNをさらにトレーニングすることで、難しいテールノードの予測を改善することに焦点を当てている。
• 参考スコア（独自算出の注目度）: 84.08331826595949
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent advances in Graph Neural Networks (GNNs), their training strategies remain largely under-explored. The conventional training strategy learns over all nodes in the original graph(s) equally, which can be sub-optimal as certain nodes are often more difficult to learn than others. Here we present TuneUp, a simple curriculum-based training strategy for improving the predictive performance of GNNs. TuneUp trains a GNN in two stages. In the first stage, TuneUp applies conventional training to obtain a strong base GNN. The base GNN tends to perform well on head nodes (nodes with large degrees) but less so on tail nodes (nodes with small degrees). Therefore, the second stage of TuneUp focuses on improving prediction on the difficult tail nodes by further training the base GNN on synthetically generated tail node data. We theoretically analyze TuneUp and show it provably improves generalization performance on tail nodes. TuneUp is simple to implement and applicable to a broad range of GNN architectures and prediction tasks. Extensive evaluation of TuneUp on five diverse GNN architectures, three types of prediction tasks, and both transductive and inductive settings shows that TuneUp significantly improves the performance of the base GNN on tail nodes, while often even improving the performance on head nodes. Altogether, TuneUp produces up to 57.6% and 92.2% relative predictive performance improvement in the transductive and the challenging inductive settings, respectively.
• Abstract（参考訳）: 最近のグラフニューラルネットワーク(gnns)の進歩にもかかわらず、そのトレーニング戦略はほとんど未調査のままである。 従来のトレーニング戦略は、元のグラフ内のすべてのノードについて等しく学習し、特定のノードが他のノードよりも学習が難しい場合が多いため、準最適である。 本稿では、GNNの予測性能を改善するための簡単なカリキュラムベースのトレーニング戦略であるTuneUpを紹介する。 TuneUpはGNNを2段階に分けて運行している。 第1段階では、TuneUpは従来のトレーニングを適用して、強力なベースGNNを取得する。 ベースGNNは、ヘッドノード(大きな次数を持つノード)ではよく機能するが、テールノード(小さな次数を持つノード)では性能が低い。 したがって、tuneupの第2段階は、合成生成された末尾ノードデータに対してベースgnnをさらに訓練することにより、難しい末尾ノードの予測を改善することに焦点を当てている。 理論上はチューナップの解析を行い,末尾ノードの一般化性能が向上することを示す。 TuneUpは実装が簡単で、幅広いGNNアーキテクチャや予測タスクに適用できる。 5つの異なるGNNアーキテクチャ、3種類の予測タスク、およびトランスダクティブおよびインダクティブ設定によるTuneUpの広範囲な評価は、TuneUpが尾ノードのベースGNNの性能を大幅に改善し、ヘッドノードのパフォーマンスも改善していることを示している。 全体としてtuneupは、トランスダクティブと挑戦的なインダクティブ設定において、それぞれ57.6%と92.2%の相対的なパフォーマンス改善を実現している。

関連論文リスト

• Can Graph Reordering Speed Up Graph Neural Network Training? An Experimental Study [13.354505458409957]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習することができる。 グラフのばらつきは、最適以下のメモリアクセスパターンと長いトレーニング時間をもたらす。 グラフの並べ替えは、CPUおよびGPUベースのトレーニングのトレーニング時間を削減するのに有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-17T12:28:02Z)
• Node Duplication Improves Cold-start Link Prediction [52.917775253887264]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習において顕著である。 近年の研究では、GNNは低次ノードで良い結果を出すのに苦労していることが示されている。 我々はNodeDupと呼ばれるシンプルだが驚くほど効果的な拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T05:07:39Z)
• GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
  本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。 本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。 DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
  論文  参考訳（メタデータ） (2023-10-23T05:51:59Z)
• Search to Fine-tune Pre-trained Graph Neural Networks for Graph-level Tasks [22.446655655309854]
  グラフニューラルネットワーク(GNN)は多くのグラフ関連タスクで前例のない成功を収めた。 最近の取り組みでは、大規模未ラベルグラフ上でGNNを事前訓練し、未ラベルグラフからの知識を目標下流タスクに適応させようとしている。 微調整の重要性にもかかわらず、現在のGNNの事前訓練作業は、優れた微調整戦略の設計を無視することが多い。
  論文  参考訳（メタデータ） (2023-08-14T06:32:02Z)
• Fast and Effective GNN Training with Linearized Random Spanning Trees [20.73637495151938]
  ノード分類タスクにおいて,GNNをトレーニングするための,より効果的でスケーラブルなフレームワークを提案する。 提案手法は, ランダムに分布する木々の広範囲に分布するGNN重みを徐々に改善する。 これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
  論文  参考訳（メタデータ） (2023-06-07T23:12:42Z)
• Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision [13.180922099929765]
  ディープグラフニューラルネットワーク(GNN)は、層数が増加すると過度に滑らかになる。 本研究では,すべての層で学習した表現を訓練に利用するDSGNNを提案する。 DSGNNは過度に平滑であり,ノードおよびグラフ特性予測問題における競合ベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-25T06:05:55Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。