論文の概要: Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case

• arxiv url: http://arxiv.org/abs/2006.14117v1
• Date: Thu, 25 Jun 2020 00:45:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:30:29.879108
• Title: Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case
• Title（参考訳）: 一般化性を保証したグラフニューラルネットワークの高速学習:一層化の場合
• Authors: Shuai Zhang, Meng Wang, Sijia Liu, Pin-Yu Chen, Jinjun Xiong
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
• 参考スコア（独自算出の注目度）: 93.37576644429578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although graph neural networks (GNNs) have made great progress recently on learning from graph-structured data in practice, their theoretical guarantee on generalizability remains elusive in the literature. In this paper, we provide a theoretically-grounded generalizability analysis of GNNs with one hidden layer for both regression and binary classification problems. Under the assumption that there exists a ground-truth GNN model (with zero generalization error), the objective of GNN learning is to estimate the ground-truth GNN parameters from the training data. To achieve this objective, we propose a learning algorithm that is built on tensor initialization and accelerated gradient descent. We then show that the proposed learning algorithm converges to the ground-truth GNN model for the regression problem, and to a model sufficiently close to the ground-truth for the binary classification problem. Moreover, for both cases, the convergence rate of the proposed learning algorithm is proven to be linear and faster than the vanilla gradient descent algorithm. We further explore the relationship between the sample complexity of GNNs and their underlying graph properties. Lastly, we provide numerical experiments to demonstrate the validity of our analysis and the effectiveness of the proposed learning algorithm for GNNs.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、グラフ構造化データから実際に学習することで近年大きな進歩を遂げているが、その一般化可能性に関する理論的保証は文献ではまだ解明されていない。 本稿では,回帰と二項分類の両問題に対して,GNNを1つの隠蔽層で解析する。 グランドトルースGNNモデルが存在すると仮定すると(一般化誤差ゼロ)、GNN学習の目的はトレーニングデータからグランドトルースGNNパラメータを推定することである。 この目的を達成するために,テンソル初期化と勾配降下の高速化に基づく学習アルゴリズムを提案する。 そこで,提案した学習アルゴリズムは回帰問題に対する基底構造GNNモデルに収束し,二項分類問題に対する基底構造に十分近いモデルに収束することを示した。 また,いずれの場合においても,提案手法の収束率はバニラ勾配降下アルゴリズムよりも線形かつ高速であることが証明された。 さらに、GNNのサンプル複雑性と基礎となるグラフ特性との関係について検討する。 最後に,GNNにおける解析の有効性と学習アルゴリズムの有効性を示す数値実験を行った。

関連論文リスト

• Online GNN Evaluation Under Test-time Graph Distribution Shifts [92.4376834462224]
  オンラインGNN評価という新たな研究課題は、よく訓練されたGNNが現実世界の未ラベルグラフに一般化する能力について、貴重な洞察を提供することを目的としている。 我々は、よく訓練されたGNNモデルのテスト時間一般化誤差を推定するために、LeBeDと呼ばれる効果的な学習行動不一致スコアを開発する。
  論文  参考訳（メタデータ） (2024-03-15T01:28:08Z)
• On the Generalization Capability of Temporal Graph Learning Algorithms: Theoretical Insights and a Simpler Method [59.52204415829695]
  テンポラルグラフ学習(TGL)は、様々な現実世界のアプリケーションにまたがる一般的なテクニックとなっている。 本稿では,異なるTGLアルゴリズムの一般化能力について検討する。 一般化誤差が小さく、全体的な性能が向上し、モデルの複雑さが低下する単純化されたTGLネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-26T08:22:22Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Learning Graph Neural Networks with Approximate Gradient Descent [24.49427608361397]
  ラベルがノードまたはグラフに添付されているかどうかに応じて、2種類のグラフニューラルネットワーク(GNN)が調査されます。 gnnトレーニングアルゴリズムの設計と解析のための包括的なフレームワークを開発した。 提案アルゴリズムは,GNNの根底にある真のパラメータに対する線形収束率を保証する。
  論文  参考訳（メタデータ） (2020-12-07T02:54:48Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。