論文の概要: MentorGNN: Deriving Curriculum for Pre-Training GNNs

• arxiv url: http://arxiv.org/abs/2208.09905v1
• Date: Sun, 21 Aug 2022 15:12:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 13:45:55.523475
• Title: MentorGNN: Deriving Curriculum for Pre-Training GNNs
• Title（参考訳）: MentorGNN: 事前トレーニングGNNのカリキュラムの派生
• Authors: Dawei Zhou, Lecheng Zheng, Dongqi Fu, Jiawei Han, Jingrui He
• Abstract要約: 本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
• 参考スコア（独自算出の注目度）: 61.97574489259085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph pre-training strategies have been attracting a surge of attention in the graph mining community, due to their flexibility in parameterizing graph neural networks (GNNs) without any label information. The key idea lies in encoding valuable information into the backbone GNNs, by predicting the masked graph signals extracted from the input graphs. In order to balance the importance of diverse graph signals (e.g., nodes, edges, subgraphs), the existing approaches are mostly hand-engineered by introducing hyperparameters to re-weight the importance of graph signals. However, human interventions with sub-optimal hyperparameters often inject additional bias and deteriorate the generalization performance in the downstream applications. This paper addresses these limitations from a new perspective, i.e., deriving curriculum for pre-training GNNs. We propose an end-to-end model named MentorGNN that aims to supervise the pre-training process of GNNs across graphs with diverse structures and disparate feature spaces. To comprehend heterogeneous graph signals at different granularities, we propose a curriculum learning paradigm that automatically re-weighs graph signals in order to ensure a good generalization in the target domain. Moreover, we shed new light on the problem of domain adaption on relational data (i.e., graphs) by deriving a natural and interpretable upper bound on the generalization error of the pre-trained GNNs. Extensive experiments on a wealth of real graphs validate and verify the performance of MentorGNN.
• Abstract（参考訳）: グラフ事前学習戦略は、ラベル情報のないグラフニューラルネットワーク(GNN)のパラメータ化の柔軟性のため、グラフマイニングコミュニティで注目を集めている。 キーとなるアイデアは、入力グラフから抽出されたマスキンググラフ信号を予測することによって、貴重な情報をバックボーンGNNに符号化することにある。 多様なグラフ信号(ノード、エッジ、サブグラフなど)の重要性のバランスをとるために、既存のアプローチは主にグラフ信号の重要性を再重み付けするためにハイパーパラメータを導入することで手作業で行う。 しかしながら、サブ・オプティカル・ハイパーパラメーターを用いた人間の介入は、しばしばバイアスを注入し、下流のアプリケーションにおける一般化性能を低下させる。 本稿では,これらの制約を新たな視点,すなわち事前学習GNNのカリキュラムの導出から解決する。 我々は,GNNの事前学習過程を,多様な構造と異なる特徴空間を持つグラフ間で監視することを目的とした,MentorGNNというエンドツーエンドモデルを提案する。 異なる粒度で不均質なグラフ信号を理解するために,対象領域における適切な一般化を確保するために,自動的にグラフ信号を緩和するカリキュラム学習パラダイムを提案する。 さらに,事前学習したgnnの一般化誤差に自然かつ解釈可能な上限を導出することにより,関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。 豊富な実グラフに関する大規模な実験は、MentorGNNの性能を検証し、検証する。

関連論文リスト

• GraphLoRA: Structure-Aware Contrastive Low-Rank Adaptation for Cross-Graph Transfer Learning [17.85404473268992]
  グラフニューラルネットワーク(GNN)は、様々なグラフ解析タスクを扱うのに顕著な習熟度を示した。 汎用性にもかかわらず、GNNはトランスファービリティにおいて重大な課題に直面し、現実のアプリケーションでの利用を制限している。 グラフ領域によく訓練されたGNNを転送するための有効かつパラメータ効率のよいGraphLoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-25T06:57:42Z)
• Rethinking Propagation for Unsupervised Graph Domain Adaptation [17.443218657417454]
  Unlabelled Graph Domain Adaptation (UGDA)は、ラベル付きソースグラフから教師なしターゲットグラフに知識を転送することを目的としている。 本稿では,グラフ領域適応のためのA2GNNというシンプルな手法を提案する。
  論文  参考訳（メタデータ） (2024-02-08T13:24:57Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。