論文の概要: Towards Faster Graph Partitioning via Pre-training and Inductive Inference
- arxiv url: http://arxiv.org/abs/2409.00670v1
- Date: Sun, 1 Sep 2024 09:11:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 13:09:07.816282
- Title: Towards Faster Graph Partitioning via Pre-training and Inductive Inference
- Title（参考訳）: 事前学習と帰納推論によるグラフ分割の高速化に向けて
- Authors: Meng Qin, Chaorui Zhang, Yu Gao, Yibin Ding, Weipeng Jiang, Weixi Zhang, Wei Han, Bo Bai,
- Abstract要約: 本稿では, PR-GPT (Pre-trained and Refined Graph ParTitioning) を提案する。
PR-GPTは、スクラッチから精錬法を実行する場合と比較して、大幅な品質劣化を伴わずに、大規模グラフ上でGPを高速化することができる。
- 参考スコア（独自算出の注目度）: 7.962080448174845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph partitioning (GP) is a classic problem that divides the node set of a graph into densely-connected blocks. Following the IEEE HPEC Graph Challenge and recent advances in pre-training techniques (e.g., large-language models), we propose PR-GPT (Pre-trained & Refined Graph ParTitioning) based on a novel pre-training & refinement paradigm. We first conduct the offline pre-training of a deep graph learning (DGL) model on small synthetic graphs with various topology properties. By using the inductive inference of DGL, one can directly generalize the pre-trained model (with frozen model parameters) to large graphs and derive feasible GP results. We also use the derived partition as a good initialization of an efficient GP method (e.g., InfoMap) to further refine the quality of partitioning. In this setting, the online generalization and refinement of PR-GPT can not only benefit from the transfer ability regarding quality but also ensure high inference efficiency without re-training. Based on a mechanism of reducing the scale of a graph to be processed by the refinement method, PR-GPT also has the potential to support streaming GP. Experiments on the Graph Challenge benchmark demonstrate that PR-GPT can ensure faster GP on large-scale graphs without significant quality degradation, compared with running a refinement method from scratch. We will make our code public at https://github.com/KuroginQin/PRGPT.
- Abstract（参考訳）: グラフ分割(GP)はグラフのノードセットを密結合ブロックに分割する古典的な問題である。
IEEE HPEC Graph Challengeと最近の事前学習技術(例えば、大規模言語モデル)の進歩に続いて、新しい事前学習・改良パラダイムに基づくPR-GPT(Pre-trained & Refined Graph ParTitioning)を提案する。
まず、様々なトポロジ特性を持つ小さな合成グラフ上で、ディープグラフ学習(DGL)モデルのオフライン事前学習を行う。
DGLの帰納的推論を用いることで、(凍結モデルパラメータで)事前学習されたモデルを大きなグラフに直接一般化し、実現可能なGP結果を導出することができる。
また、導出したパーティショニングを効率的なGP法(例えばInfoMap)の優れた初期化として使用し、パーティショニングの質をさらに高める。
この設定では、PR-GPTのオンライン一般化と改良は、品質に関する伝達能力の恩恵を受けるだけでなく、再学習なしに高い推論効率を確保することができる。
改良法により処理するグラフのスケールを縮小する機構に基づいて,PR-GPTはストリーミングGPをサポートする可能性も持っている。
Graph Challengeベンチマークの実験では、PR-GPTは、スクラッチからリファインメント法を実行する場合と比較して、大幅な品質劣化を伴わずに、大規模グラフでのGPを高速化できることを示した。
コードをhttps://github.com/KuroginQin/PRGPTで公開します。
関連論文リスト
- A Unified Graph Selective Prompt Learning for Graph Neural Networks [20.595782116049428]
Graph Prompt Feature(GPF)は、Graph Neural Networks(GNN)のトレーニング済みモデルを適応することに成功した。
GNNファインチューニングのための新しいグラフ選択型プロンプト特徴学習(GSPF)を提案する。
論文 参考訳（メタデータ） (2024-06-15T04:36:40Z) - Inductive Graph Alignment Prompt: Bridging the Gap between Graph
Pre-training and Inductive Fine-tuning From Spectral Perspective [13.277779426525056]
グラフ事前学習と微調整」パラダイムはグラフニューラルネットワーク(GNN)を大幅に改善した
しかし、事前学習と微調整の段階でのデータとタスクの差が大きいため、モデルの性能は依然として限られている。
Inductive Graph Alignment Prompt(IGAP)と呼ばれる新しいグラフプロンプト方式を提案する。
論文 参考訳（メタデータ） (2024-02-21T06:25:54Z) - Fine-tuning Graph Neural Networks by Preserving Graph Generative
Patterns [13.378277755978258]
プレトレーニンググラフと下流グラフの間の構造的ばらつきは,バニラ微調整戦略を用いた場合の転送可能性を大幅に制限することを示す。
下流グラフの生成パターンを保存するためにG-Tuningを提案する。
G-Tuningはドメイン内およびドメイン外移行学習実験において平均0.5%と2.6%の改善を示している。
論文 参考訳（メタデータ） (2023-12-21T05:17:10Z) - Learning Large Graph Property Prediction via Graph Segment Training [61.344814074335304]
本稿では,メモリフットプリントを一定にして大きなグラフ特性予測を学習できる汎用フレームワークを提案する。
バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。
実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
論文 参考訳（メタデータ） (2023-05-21T02:53:25Z) - When to Pre-Train Graph Neural Networks? From Data Generation
Perspective! [19.239863500722983]
グラフ事前トレーニングは、ラベルのないグラフデータから転送可能な知識を取得し、下流のパフォーマンスを改善することを目的としている。
本稿では,事前学習のタイミングを問う汎用フレームワークW2PGNNを提案する。
W2PGNNは、グラフ事前トレーニングモデルの適用範囲、事前トレーニングの実現可能性、下流のパフォーマンスを高めるために事前トレーニングデータを選択する支援の3つの幅広いアプリケーションを提供している。
論文 参考訳（メタデータ） (2023-03-29T05:05:02Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Similarity-aware Positive Instance Sampling for Graph Contrastive
Pre-training [82.68805025636165]
トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。
私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。
さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
論文 参考訳（メタデータ） (2022-06-23T20:12:51Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。
バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文 参考訳（メタデータ） (2020-10-09T07:35:26Z) - Iterative Deep Graph Learning for Graph Neural Networks: Better and
Robust Node Embeddings [53.58077686470096]
グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。
実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
論文 参考訳（メタデータ） (2020-06-21T19:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。