論文の概要: Learning Large Graph Property Prediction via Graph Segment Training
- arxiv url: http://arxiv.org/abs/2305.12322v3
- Date: Sun, 5 Nov 2023 18:27:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 22:40:05.273005
- Title: Learning Large Graph Property Prediction via Graph Segment Training
- Title（参考訳）: グラフセグメントトレーニングによる大規模グラフ特性予測の学習
- Authors: Kaidi Cao, Phitchaya Mangpo Phothilimthana, Sami Abu-El-Haija, Dustin
Zelle, Yanqi Zhou, Charith Mendis, Jure Leskovec, Bryan Perozzi
- Abstract要約: 本稿では,メモリフットプリントを一定にして大きなグラフ特性予測を学習できる汎用フレームワークを提案する。
バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。
実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
- 参考スコア（独自算出の注目度）: 61.344814074335304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning to predict properties of large graphs is challenging because each
prediction requires the knowledge of an entire graph, while the amount of
memory available during training is bounded. Here we propose Graph Segment
Training (GST), a general framework that utilizes a divide-and-conquer approach
to allow learning large graph property prediction with a constant memory
footprint. GST first divides a large graph into segments and then
backpropagates through only a few segments sampled per training iteration. We
refine the GST paradigm by introducing a historical embedding table to
efficiently obtain embeddings for segments not sampled for backpropagation. To
mitigate the staleness of historical embeddings, we design two novel
techniques. First, we finetune the prediction head to fix the input
distribution shift. Second, we introduce Stale Embedding Dropout to drop some
stale embeddings during training to reduce bias. We evaluate our complete
method GST-EFD (with all the techniques together) on two large graph property
prediction benchmarks: MalNet and TpuGraphs. Our experiments show that GST-EFD
is both memory-efficient and fast, while offering a slight boost on test
accuracy over a typical full graph training regime.
- Abstract（参考訳）: 各予測にはグラフ全体の知識が必要であり、トレーニング中に利用可能なメモリ量は制限されているため、大きなグラフの特性を予測するための学習は困難である。
本稿では,大きなグラフ特性の予測を一定メモリフットプリントで学習するために,分割・コンカレントアプローチを利用する一般的なフレームワークであるグラフセグメントトレーニング(GST)を提案する。
GSTは、まず大きなグラフをセグメントに分割し、トレーニングイテレーション毎にサンプリングされた少数のセグメントをバックプロパゲートする。
バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。
歴史的埋め込みの安定性を軽減するため,2つの新しい手法を設計する。
まず,入力分布シフトを補正するために予測ヘッドを微調整する。
第2に,トレーニング中に古い埋め込みをドロップしてバイアスを減らすために,stale embedded dropoutを導入する。
我々は、MalNetとTpuGraphsという2つの大きなグラフ特性予測ベンチマーク上で、GST-EFD(すべての手法を併用)の完全な手法を評価する。
実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
関連論文リスト
- Two Heads Are Better Than One: Boosting Graph Sparse Training via
Semantic and Topological Awareness [80.87683145376305]
グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。
データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。
GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
論文 参考訳（メタデータ） (2024-02-02T09:10:35Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - Sparsity exploitation via discovering graphical models in multi-variate
time-series forecasting [1.2762298148425795]
本稿では,グラフ生成モジュールとGNN予測モジュールを含む分離学習手法を提案する。
まず、Graphical Lasso(またはGraphLASSO)を使用して、データから空間パターンを直接利用してグラフ構造を構築します。
次に、これらのグラフ構造と入力データをGCRN(Graph Convolutional Recurrent Network)に適合させて予測モデルをトレーニングする。
論文 参考訳（メタデータ） (2023-06-29T16:48:00Z) - Time-aware Graph Structure Learning via Sequence Prediction on Temporal
Graphs [10.034072706245544]
時系列グラフのシーケンス予測による時間認識型グラフ構造学習(TGSL)手法を提案する。
特に、タイムアウェアなコンテキスト埋め込みを予測し、Gumble-Top-Kを使用して、このコンテキスト埋め込みに最も近い候補エッジを選択する。
時間リンク予測ベンチマークの実験は、TGSLがTGATやGraphMixerのような一般的なTGNに対して大きな利益をもたらすことを示した。
論文 参考訳（メタデータ） (2023-06-13T11:34:36Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳（メタデータ） (2022-03-05T00:28:43Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - GNNAutoScale: Scalable and Expressive Graph Neural Networks via
Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。
ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。
ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文 参考訳（メタデータ） (2021-06-10T09:26:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。