論文の概要: Fine-tuning Graph Neural Networks by Preserving Graph Generative
Patterns
- arxiv url: http://arxiv.org/abs/2312.13583v1
- Date: Thu, 21 Dec 2023 05:17:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 15:50:50.326607
- Title: Fine-tuning Graph Neural Networks by Preserving Graph Generative
Patterns
- Title（参考訳）: グラフ生成パターン保存による微調整グラフニューラルネットワーク
- Authors: Yifei Sun, Qi Zhu, Yang Yang, Chunping Wang, Tianyu Fan, Jiajun Zhu,
Lei Chen
- Abstract要約: プレトレーニンググラフと下流グラフの間の構造的ばらつきは,バニラ微調整戦略を用いた場合の転送可能性を大幅に制限することを示す。
下流グラフの生成パターンを保存するためにG-Tuningを提案する。
G-Tuningはドメイン内およびドメイン外移行学習実験において平均0.5%と2.6%の改善を示している。
- 参考スコア（独自算出の注目度）: 13.378277755978258
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the paradigm of pre-training and fine-tuning graph neural networks
has been intensively studied and applied in a wide range of graph mining tasks.
Its success is generally attributed to the structural consistency between
pre-training and downstream datasets, which, however, does not hold in many
real-world scenarios. Existing works have shown that the structural divergence
between pre-training and downstream graphs significantly limits the
transferability when using the vanilla fine-tuning strategy. This divergence
leads to model overfitting on pre-training graphs and causes difficulties in
capturing the structural properties of the downstream graphs. In this paper, we
identify the fundamental cause of structural divergence as the discrepancy of
generative patterns between the pre-training and downstream graphs.
Furthermore, we propose G-Tuning to preserve the generative patterns of
downstream graphs. Given a downstream graph G, the core idea is to tune the
pre-trained GNN so that it can reconstruct the generative patterns of G, the
graphon W. However, the exact reconstruction of a graphon is known to be
computationally expensive. To overcome this challenge, we provide a theoretical
analysis that establishes the existence of a set of alternative graphons called
graphon bases for any given graphon. By utilizing a linear combination of these
graphon bases, we can efficiently approximate W. This theoretical finding forms
the basis of our proposed model, as it enables effective learning of the
graphon bases and their associated coefficients. Compared with existing
algorithms, G-Tuning demonstrates an average improvement of 0.5% and 2.6% on
in-domain and out-of-domain transfer learning experiments, respectively.
- Abstract（参考訳）: 近年,事前学習および微調整型グラフニューラルネットワークのパラダイムが広く研究され,幅広いグラフマイニングタスクに応用されている。
その成功は一般的に、事前トレーニングとダウンストリームデータセットの構造的一貫性に起因するが、現実のシナリオではそうではない。
既存の研究では、事前学習グラフと下流グラフの間の構造的ばらつきが、バニラ微調整戦略を使用する際の転送可能性を大幅に制限していることが示されている。
この分散は、事前学習グラフにモデルオーバーフィッティングをもたらし、下流グラフの構造特性を捉えるのに困難を引き起こす。
本稿では,事前学習グラフと下流グラフ間の生成パターンの相違として構造分岐の根本的な原因を同定する。
さらに、下流グラフの生成パターンを保存するためにG-Tuningを提案する。
下流グラフ G が与えられたとき、中心となる考え方は、G の生成パターンを再構成できるように、事前訓練された GNN をチューニングすることである。
この課題を克服するために、任意のグラトンに対して、グラトン基底と呼ばれる別のグラトン集合の存在を立証する理論的解析を提供する。
この理論的な発見は,提案したモデルの基礎を形成し,グラフン基底とその関連係数を効果的に学習することを可能にする。
既存のアルゴリズムと比較して、G-Tuningはドメイン内およびドメイン外移行学習実験において平均0.5%と2.6%の改善を示している。
関連論文リスト
- Scalable Implicit Graphon Learning [25.015678499211404]
本稿では、暗黙的ニューラルネットワーク(INR)とグラフニューラルネットワーク(GNN)を組み合わせて、観測されたグラフからグラフを推定するスケーラブルな手法を提案する。
合成グラフと実世界のグラフでSIGLを評価し,既存の手法より優れ,大規模グラフに効果的にスケール可能であることを示した。
論文 参考訳（メタデータ） (2024-10-22T22:44:24Z) - Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis [7.309233340654514]
本稿では,データ操作の観点からグラフのプロンプトを厳密に解析する理論的枠組みを提案する。
グラフ変換演算子に近似する能力を示す形式的保証定理を提供する。
グラフプロンプトによってこれらのデータ操作の誤差の上限を導出し、この議論をグラフのバッチに拡張する。
論文 参考訳（メタデータ） (2024-10-02T15:07:13Z) - Graphon Pooling for Reducing Dimensionality of Signals and Convolutional
Operators on Graphs [131.53471236405628]
グラフ空間における[0, 1]2の分割上のグラフとグラフ信号の誘導的グラフ表現を利用する3つの方法を提案する。
これらの低次元表現がグラフとグラフ信号の収束列を構成することを証明している。
我々は,層間次元減少比が大きい場合,グラノンプーリングは文献で提案した他の手法よりも有意に優れていることを観察した。
論文 参考訳（メタデータ） (2022-12-15T22:11:34Z) - Latent Graph Inference using Product Manifolds [0.0]
遅延グラフ学習のための離散微分可能グラフモジュール(dDGM)を一般化する。
我々の新しいアプローチは、幅広いデータセットでテストされ、元のdDGMモデルよりも優れています。
論文 参考訳（メタデータ） (2022-11-26T22:13:06Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳（メタデータ） (2022-05-19T14:08:15Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳（メタデータ） (2022-01-17T11:57:29Z) - Graph and graphon neural network stability [122.06927400759021]
グラフネットワーク(GNN)は、ネットワークデータの有意義な表現を生成するためにグラフ構造の知識に依存する学習アーキテクチャである。
我々は,GNNの安定性を,グラファイトと呼ばれるカーネルオブジェクトを用いて解析する。
論文 参考訳（メタデータ） (2020-10-23T16:55:56Z) - The Power of Graph Convolutional Networks to Distinguish Random Graph
Models: Short Version [27.544219236164764]
グラフ畳み込みネットワーク(GCN)はグラフ表現学習において広く使われている手法である。
サンプルグラフの埋め込みに基づいて異なるランダムグラフモデルを区別するGCNのパワーについて検討する。
論文 参考訳（メタデータ） (2020-02-13T17:58:42Z) - Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。
しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。
本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文 参考訳（メタデータ） (2020-01-18T09:14:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。