論文の概要: When to Pre-Train Graph Neural Networks? An Answer from Data Generation Perspective!

• arxiv url: http://arxiv.org/abs/2303.16458v2
• Date: Mon, 3 Apr 2023 13:23:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 20:16:09.333223
• Title: When to Pre-Train Graph Neural Networks? An Answer from Data Generation Perspective!
• Title（参考訳）: グラフニューラルネットワークの事前トレーニングはいつか? データ生成の観点からの答え!
• Authors: Yuxuan Cao, Jiarong Xu, Carl Yang, Jiaan Wang, Yunchao Zhang, Chunping Wang, Lei Chen, Yang Yang
• Abstract要約: グラフ事前学習は、ラベルなしグラフデータから転送可能な知識を学ぶことを目的としている。 グラフ事前トレーニングされたモデルを下流タスクに適用する場合、負の転送が大きな問題となる。 本稿では,事前学習のタイミングを問う汎用フレームワークW2PGNNを提案する。
• 参考スコア（独自算出の注目度）: 19.239863500722983
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, graph pre-training has attracted wide research attention, which aims to learn transferable knowledge from unlabeled graph data so as to improve downstream performance. Despite these recent attempts, the negative transfer is a major issue when applying graph pre-trained models to downstream tasks. Existing works made great efforts on the issue of what to pre-train and how to pre-train by designing a number of graph pre-training and fine-tuning strategies. However, there are indeed cases where no matter how advanced the strategy is, the "pre-train and fine-tune" paradigm still cannot achieve clear benefits. This paper introduces a generic framework W2PGNN to answer the crucial question of when to pre-train (i.e., in what situations could we take advantage of graph pre-training) before performing effortful pre-training or fine-tuning. We start from a new perspective to explore the complex generative mechanisms from the pre-training data to downstream data. In particular, W2PGNN first fits the pre-training data into graphon bases, each element of graphon basis (i.e., a graphon) identifies a fundamental transferable pattern shared by a collection of pre-training graphs. All convex combinations of graphon bases give rise to a generator space, from which graphs generated form the solution space for those downstream data that can benefit from pre-training. In this manner, the feasibility of pre-training can be quantified as the generation probability of the downstream data from any generator in the generator space. W2PGNN provides three broad applications, including providing the application scope of graph pre-trained models, quantifying the feasibility of performing pre-training, and helping select pre-training data to enhance downstream performance. We give a theoretically sound solution for the first application and extensive empirical justifications for the latter two applications.
• Abstract（参考訳）: 近年,グラフ事前学習が注目されており,グラフデータから伝達可能な知識を学習して下流の性能を向上させることを目指している。 これらの最近の試みにもかかわらず、下流タスクにグラフ事前学習モデルを適用する場合、負の転送は大きな問題である。 既存の作業は、事前トレーニングの方法と、多数のグラフ事前トレーニングと微調整戦略を設計することで、事前トレーニングの方法の問題に多大な努力を払っていた。 しかし、戦略がどんなに進歩しても、「事前訓練と微調整」のパラダイムは依然として明確な利益を得られないケースがある。 本稿では,事前トレーニングや微調整を行う前に,事前トレーニングをいつ行うか(つまり,どのような状況でグラフ事前トレーニングを活用できるか)という重要な質問に答える汎用フレームワークw2pgnnを紹介する。 まず,新しい視点から,事前学習データから下流データへの複雑な生成メカニズムを探索する。 特に、w2pgnnは、まず事前トレーニングされたデータをgraphonベースに適合させ、graphon基底(すなわちgraphon)の各要素は、事前トレーニングされたグラフの集合によって共有される基本的な転送可能なパターンを識別する。 グラフェン塩基のすべての凸結合は生成空間を生じさせ、そこから生成されたグラフは、事前学習の恩恵を受ける下流データのための解空間を形成する。 これにより、発電機空間内の任意の発電機からの下流データの生成確率として事前学習の実現可能性を定量化することができる。 W2PGNNは、グラフ事前トレーニングモデルの適用範囲の提供、事前トレーニングの実行可能性の定量化、事前トレーニングデータの選択による下流のパフォーマンス向上など、幅広い3つのアプリケーションを提供している。 後者の2つの応用について, 理論上, 合理的な解法と広範な経験的正当性を与える。

関連論文リスト

• Generalizing Graph Transformers Across Diverse Graphs and Tasks via Pre-Training on Industrial-Scale Data [34.21420029237621]
  PGT(Pre-trained Graph Transformer)と呼ばれるスケーラブルなトランスフォーマーベースのグラフ事前学習フレームワークを導入する。 本フレームワークは,産業用データセットと公共用データセットの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-07-04T14:14:09Z)
• Fine-tuning Graph Neural Networks by Preserving Graph Generative Patterns [13.378277755978258]
  プレトレーニンググラフと下流グラフの間の構造的ばらつきは,バニラ微調整戦略を用いた場合の転送可能性を大幅に制限することを示す。 下流グラフの生成パターンを保存するためにG-Tuningを提案する。 G-Tuningはドメイン内およびドメイン外移行学習実験において平均0.5%と2.6%の改善を示している。
  論文  参考訳（メタデータ） (2023-12-21T05:17:10Z)
• Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks [39.71761440499148]
  グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。 より少ないが慎重に選択されたデータはGNNモデルに入力される。 実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T07:09:59Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• DiP-GNN: Discriminative Pre-Training of Graph Neural Networks [49.19824331568713]
  GNNのパワーを高めるために,グラフニューラルネットワーク(GNN)事前学習法が提案されている。 一般的な事前トレーニング手法の1つは、エッジのパーセンテージをマスクアウトすることであり、GNNはそれらを回復するように訓練されている。 筆者らのフレームワークでは, 識別器が見るグラフは, マスキングエッジの比率を回復できるため, 元のグラフとよく一致している。
  論文  参考訳（メタデータ） (2022-09-15T17:41:50Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
  Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。 グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。 我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
  論文  参考訳（メタデータ） (2022-01-04T15:49:18Z)
• An Adaptive Graph Pre-training Framework for Localized Collaborative Filtering [79.17319280791237]
  局所的協調フィルタリング(ADAPT)のための適応グラフ事前学習フレームワークを提案する。 ADAPTは、異なるグラフにまたがる共通知識と、各グラフの特異性の両方をキャプチャする。 ユーザ/イテムの埋め込みを転送する必要はなく、異なるグラフにまたがる共通知識と各グラフのユニークさの両方をキャプチャできる。
  論文  参考訳（メタデータ） (2021-12-14T06:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。