論文の概要: When to Pre-Train Graph Neural Networks? From Data Generation
Perspective!
- arxiv url: http://arxiv.org/abs/2303.16458v4
- Date: Thu, 8 Jun 2023 17:48:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 19:23:22.600845
- Title: When to Pre-Train Graph Neural Networks? From Data Generation
Perspective!
- Title(参考訳): グラフニューラルネットワークの事前トレーニングはいつか?
データ生成の観点から!
- Authors: Yuxuan Cao, Jiarong Xu, Carl Yang, Jiaan Wang, Yunchao Zhang, Chunping
Wang, Lei Chen, Yang Yang
- Abstract要約: グラフ事前トレーニングは、ラベルのないグラフデータから転送可能な知識を取得し、下流のパフォーマンスを改善することを目的としている。
本稿では,事前学習のタイミングを問う汎用フレームワークW2PGNNを提案する。
W2PGNNは、グラフ事前トレーニングモデルの適用範囲、事前トレーニングの実現可能性、下流のパフォーマンスを高めるために事前トレーニングデータを選択する支援の3つの幅広いアプリケーションを提供している。
- 参考スコア(独自算出の注目度): 19.239863500722983
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent years, graph pre-training has gained significant attention,
focusing on acquiring transferable knowledge from unlabeled graph data to
improve downstream performance. Despite these recent endeavors, the problem of
negative transfer remains a major concern when utilizing graph pre-trained
models to downstream tasks. Previous studies made great efforts on the issue of
what to pre-train and how to pre-train by designing a variety of graph
pre-training and fine-tuning strategies. However, there are cases where even
the most advanced "pre-train and fine-tune" paradigms fail to yield distinct
benefits. This paper introduces a generic framework W2PGNN to answer the
crucial question of when to pre-train (i.e., in what situations could we take
advantage of graph pre-training) before performing effortful pre-training or
fine-tuning. We start from a new perspective to explore the complex generative
mechanisms from the pre-training data to downstream data. In particular, W2PGNN
first fits the pre-training data into graphon bases, each element of graphon
basis (i.e., a graphon) identifies a fundamental transferable pattern shared by
a collection of pre-training graphs. All convex combinations of graphon bases
give rise to a generator space, from which graphs generated form the solution
space for those downstream data that can benefit from pre-training. In this
manner, the feasibility of pre-training can be quantified as the generation
probability of the downstream data from any generator in the generator space.
W2PGNN offers three broad applications: providing the application scope of
graph pre-trained models, quantifying the feasibility of pre-training, and
assistance in selecting pre-training data to enhance downstream performance. We
provide a theoretically sound solution for the first application and extensive
empirical justifications for the latter two applications.
- Abstract(参考訳): 近年,ラベルのないグラフデータから転送可能な知識を取得し,ダウンストリームのパフォーマンスを向上させることを中心に,グラフ事前学習が注目されている。
このような最近の取り組みにもかかわらず、グラフ事前学習されたモデルをダウンストリームタスクに利用する場合、負の転送の問題が大きな関心事となっている。
これまでの研究では、さまざまなグラフ事前トレーニングと微調整戦略を設計することで、事前トレーニングの方法と事前トレーニングの方法という課題に多大な努力を払った。
しかし、最も先進的な"事前訓練と微調整"のパラダイムでさえ、明確な利益を得られないケースもある。
本稿では,事前トレーニングや微調整を行う前に,事前トレーニングをいつ行うか(つまり,どのような状況でグラフ事前トレーニングを活用できるか)という重要な質問に答える汎用フレームワークw2pgnnを紹介する。
まず,新しい視点から,事前学習データから下流データへの複雑な生成メカニズムを探索する。
特に、w2pgnnは、まず事前トレーニングされたデータをgraphonベースに適合させ、graphon基底(すなわちgraphon)の各要素は、事前トレーニングされたグラフの集合によって共有される基本的な転送可能なパターンを識別する。
グラフェン塩基のすべての凸結合は生成空間を生じさせ、そこから生成されたグラフは、事前学習の恩恵を受ける下流データのための解空間を形成する。
これにより、発電機空間内の任意の発電機からの下流データの生成確率として事前学習の実現可能性を定量化することができる。
W2PGNNは、グラフ事前トレーニングモデルの適用範囲の提供、事前トレーニングの実現可能性の定量化、下流のパフォーマンスを高めるために事前トレーニングデータを選択する支援の3つの幅広いアプリケーションを提供している。
最初の応用に対する理論的に健全な解と後者の2つの応用に対する広範な経験的正当化を提供する。
関連論文リスト
- Generalizing Graph Transformers Across Diverse Graphs and Tasks via Pre-Training on Industrial-Scale Data [34.21420029237621]
PGT(Pre-trained Graph Transformer)と呼ばれるスケーラブルなトランスフォーマーベースのグラフ事前学習フレームワークを導入する。
本フレームワークは,産業用データセットと公共用データセットの両方で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-07-04T14:14:09Z) - Fine-tuning Graph Neural Networks by Preserving Graph Generative
Patterns [13.378277755978258]
プレトレーニンググラフと下流グラフの間の構造的ばらつきは,バニラ微調整戦略を用いた場合の転送可能性を大幅に制限することを示す。
下流グラフの生成パターンを保存するためにG-Tuningを提案する。
G-Tuningはドメイン内およびドメイン外移行学習実験において平均0.5%と2.6%の改善を示している。
論文 参考訳(メタデータ) (2023-12-21T05:17:10Z) - Better with Less: A Data-Active Perspective on Pre-Training Graph Neural
Networks [39.71761440499148]
グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。
より少ないが慎重に選択されたデータはGNNモデルに入力される。
実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
論文 参考訳(メタデータ) (2023-11-02T07:09:59Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳(メタデータ) (2023-09-18T20:12:17Z) - DiP-GNN: Discriminative Pre-Training of Graph Neural Networks [49.19824331568713]
GNNのパワーを高めるために,グラフニューラルネットワーク(GNN)事前学習法が提案されている。
一般的な事前トレーニング手法の1つは、エッジのパーセンテージをマスクアウトすることであり、GNNはそれらを回復するように訓練されている。
筆者らのフレームワークでは, 識別器が見るグラフは, マスキングエッジの比率を回復できるため, 元のグラフとよく一致している。
論文 参考訳(メタデータ) (2022-09-15T17:41:50Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳(メタデータ) (2022-08-21T15:12:08Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Bringing Your Own View: Graph Contrastive Learning without Prefabricated
Data Augmentations [94.41860307845812]
Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。
GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。
グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。
我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
論文 参考訳(メタデータ) (2022-01-04T15:49:18Z) - An Adaptive Graph Pre-training Framework for Localized Collaborative
Filtering [79.17319280791237]
局所的協調フィルタリング(ADAPT)のための適応グラフ事前学習フレームワークを提案する。
ADAPTは、異なるグラフにまたがる共通知識と、各グラフの特異性の両方をキャプチャする。
ユーザ/イテムの埋め込みを転送する必要はなく、異なるグラフにまたがる共通知識と各グラフのユニークさの両方をキャプチャできる。
論文 参考訳(メタデータ) (2021-12-14T06:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。