論文の概要: Enhanced Pre-training of Graph Neural Networks for Million-Scale Heterogeneous Graphs

• arxiv url: http://arxiv.org/abs/2510.12401v1
• Date: Tue, 14 Oct 2025 11:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 21:19:14.984864
• Title: Enhanced Pre-training of Graph Neural Networks for Million-Scale Heterogeneous Graphs
• Title（参考訳）: 大規模不均一グラフのためのグラフニューラルネットワークの事前学習の強化
• Authors: Shengyin Sun, Chen Ma, Jiehao Chen,
• Abstract要約: 本稿では,大規模不均一グラフ上でのグラフニューラルネットワーク(GNN)の事前学習に有効なフレームワークを提案する。 我々はまず,異種グラフの構造特性を捉えることを目的とした,構造対応事前学習タスクを設計する。 そこで本研究では,意味的ミスマッチに対処するために,セマンティック・アウェア・プレトレーニングタスクを設計する。
• 参考スコア（独自算出の注目度）: 6.35582056899733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, graph neural networks (GNNs) have facilitated the development of graph data mining. However, training GNNs requires sufficient labeled task-specific data, which is expensive and sometimes unavailable. To be less dependent on labeled data, recent studies propose to pre-train GNNs in a self-supervised manner and then apply the pre-trained GNNs to downstream tasks with limited labeled data. However, most existing methods are designed solely for homogeneous graphs (real-world graphs are mostly heterogeneous) and do not consider semantic mismatch (the semantic difference between the original data and the ideal data containing more transferable semantic information). In this paper, we propose an effective framework to pre-train GNNs on the large-scale heterogeneous graph. We first design a structure-aware pre-training task, which aims to capture structural properties in heterogeneous graphs. Then, we design a semantic-aware pre-training task to tackle the mismatch. Specifically, we construct a perturbation subspace composed of semantic neighbors to help deal with the semantic mismatch. Semantic neighbors make the model focus more on the general knowledge in the semantic space, which in turn assists the model in learning knowledge with better transferability. Finally, extensive experiments are conducted on real-world large-scale heterogeneous graphs to demonstrate the superiority of the proposed method over state-of-the-art baselines. Code available at https://github.com/sunshy-1/PHE.
• Abstract（参考訳）: 近年,グラフニューラルネットワーク (GNN) がグラフデータマイニングの発展に寄与している。 しかし、GNNのトレーニングには十分なラベル付きタスク固有データが必要である。 ラベル付きデータへの依存を減らすため、近年の研究では、自己教師付きGNNを事前訓練し、事前訓練したGNNをラベル付きデータに制限のある下流タスクに適用することを提案する。 しかし、既存のほとんどの手法は、ホモジニアスグラフ(実世界のグラフは概ね異種)のためにのみ設計されており、意味的ミスマッチ(元のデータとより伝達可能な意味情報を含む理想的なデータとのセマンティックな違い)を考慮していない。 本稿では,大規模ヘテロジニアスグラフ上でGNNを事前学習するための効果的なフレームワークを提案する。 我々はまず,異種グラフの構造特性を捉えることを目的とした,構造対応事前学習タスクを設計する。 そこで我々は,ミスマッチに対処するために,意味認識型事前学習タスクを設計する。 具体的には、意味的ミスマッチに対処するために、セマンティックな隣人で構成される摂動部分空間を構築する。 セマンティックな隣人は、モデルをセマンティック空間における一般的な知識に集中させ、それによって、より良い伝達可能性を持つ学習知識のモデルを支援する。 最後に、提案手法が最先端のベースラインよりも優れていることを示すために、実世界の大規模不均一グラフについて広範な実験を行った。 コードはhttps://github.com/sunshy-1/PHEで公開されている。

関連論文リスト

• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• HGPROMPT: Bridging Homogeneous and Heterogeneous Graphs for Few-shot Prompt Learning [16.587427365950838]
  本稿では,HGPROMPTを提案する。HGPROMPTは,事前学習タスクと下流タスクだけでなく,均一かつ均一なグラフを統一するための,新しい事前学習および促進フレームワークである。 我々は3つの公開データセットの広範な実験を通してHGPROMPTを徹底的に評価・解析した。
  論文  参考訳（メタデータ） (2023-12-04T13:20:15Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Semantic Graph Neural Network with Multi-measure Learning for Semi-supervised Classification [5.000404730573809]
  近年,グラフニューラルネットワーク(GNN)が注目されている。 近年の研究では、GNNはグラフの複雑な基盤構造に弱いことが示されている。 半教師付き分類のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-04T06:17:11Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。