論文の概要: HIRE: Distilling High-order Relational Knowledge From Heterogeneous Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2207.11887v1
• Date: Mon, 25 Jul 2022 03:25:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 15:18:11.264603
• Title: HIRE: Distilling High-order Relational Knowledge From Heterogeneous Graph Neural Networks
• Title（参考訳）: HIRE:不均一グラフニューラルネットワークによる高次関係知識の蒸留
• Authors: Jing Liu, Tongya Zheng, and Qinfen Hao
• Abstract要約: 本稿では,事前学習したHGNNからリレーショナル知識を蒸留する多目的プラグアンドプレイモジュールを提案する。 我々の知識を最大限に活用するために、不均一グラフ上のHIRE(HIgh-order Relational)知識蒸留フレームワークを最初に提案する。
• 参考スコア（独自算出の注目度）: 4.713436329217004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Researchers have recently proposed plenty of heterogeneous graph neural networks (HGNNs) due to the ubiquity of heterogeneous graphs in both academic and industrial areas. Instead of pursuing a more powerful HGNN model, in this paper, we are interested in devising a versatile plug-and-play module, which accounts for distilling relational knowledge from pre-trained HGNNs. To the best of our knowledge, we are the first to propose a HIgh-order RElational (HIRE) knowledge distillation framework on heterogeneous graphs, which can significantly boost the prediction performance regardless of model architectures of HGNNs. Concretely, our HIRE framework initially performs first-order node-level knowledge distillation, which encodes the semantics of the teacher HGNN with its prediction logits. Meanwhile, the second-order relation-level knowledge distillation imitates the relational correlation between node embeddings of different types generated by the teacher HGNN. Extensive experiments on various popular HGNNs models and three real-world heterogeneous graphs demonstrate that our method obtains consistent and considerable performance enhancement, proving its effectiveness and generalization ability.
• Abstract（参考訳）: 研究者は最近、学術分野と産業分野の両方で異種グラフが多用されているため、多くの異種グラフニューラルネットワーク(HGNN)を提案している。 本稿では,より強力なHGNNモデルを追求する代わりに,事前学習したHGNNから関係知識を抽出する多目的プラグアンドプレイモジュールの開発に関心がある。 私たちの知る限りでは、ヘテロジニアスグラフ上のハイ次関係性(hire)知識蒸留フレームワークを最初に提案し、hgnnのモデルアーキテクチャに関係なく予測性能を大幅に向上させることができた。 具体的には、HIREフレームワークは、まず第一級ノードレベルの知識蒸留を行い、教師HGNNのセマンティクスを予測ロジットでエンコードする。 一方,2次関係レベルの知識蒸留は,教師HGNNが生成した異なるタイプのノード埋め込み間の関係関係を模倣する。 各種HGNNモデルと3つの実世界の異種グラフの大規模な実験により,本手法が一貫した性能向上を実現し,その有効性と一般化能力を示す。

関連論文リスト

• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• BG-HGNN: Toward Scalable and Efficient Heterogeneous Graph Neural Network [6.598758004828656]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフ用に設計された有望なニューラルモデルクラスである。 既存のHGNNは、様々な関係をモデル化するために異なるパラメータ空間を使用する。 本稿では,Blend&Grind-HGNNについて紹介する。
  論文  参考訳（メタデータ） (2024-03-13T03:03:40Z)
• Breaking the Entanglement of Homophily and Heterophily in Semi-supervised Node Classification [25.831508778029097]
  統計的観点から,ノードプロファイルとトポロジの関係を定量化するAMUDを提案する。 また、AMUDのための新しい有向グラフ学習パラダイムとしてADPAを提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:54:11Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• GCNH: A Simple Method For Representation Learning On Heterophilous Graphs [4.051099980410583]
  グラフニューラルネットワーク(GNN)は、ホモフィルグラフの学習に適している。 近年,異種グラフの性能向上を目的とした標準GNNアーキテクチャの拡張が提案されている。 ヘテロフィリィ(GCNH)のためのGCNを提案し,ヘテロフィリィシナリオとホモフィリィシナリオの両方に適用できる簡易かつ効果的なGNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-04-21T11:26:24Z)
• Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks [80.8446673089281]
  グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。 本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
  論文  参考訳（メタデータ） (2022-10-24T08:01:58Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning [102.9138736545956]
  不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。 我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。 この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
  論文  参考訳（メタデータ） (2022-04-30T12:57:02Z)
• Graph Neural Networks for Graphs with Heterophily: A Survey [98.45621222357397]
  異種グラフに対するグラフニューラルネットワーク(GNN)の総合的なレビューを提供する。 具体的には,既存の異好性GNNモデルを本質的に支配する系統分類法を提案する。 グラフヘテロフィリーと様々なグラフ研究領域の相関を議論し、より効果的なGNNの開発を促進することを目的とした。
  論文  参考訳（メタデータ） (2022-02-14T23:07:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。