論文の概要: Shared Growth of Graph Neural Networks via Prompted Free-direction Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2307.00534v3
• Date: Thu, 16 Nov 2023 15:22:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 22:33:12.939388
• Title: Shared Growth of Graph Neural Networks via Prompted Free-direction Knowledge Distillation
• Title（参考訳）: Prompted Free-direction Knowledge Distillation によるグラフニューラルネットワークの共有成長
• Authors: Kaituo Feng, Yikun Miao, Changsheng Li, Ye Yuan, Guoren Wang
• Abstract要約: グラフニューラルネットワーク(GNN)の強化学習による初のフリーダイレクト知識蒸留フレームワークを提案する。 私たちの中核となる考え方は、より浅い2つのGNNを共同で学習し、それら間で知識を交換することです。 5つのベンチマークデータセットの実験では、我々のアプローチはベースGNNよりも大きなマージンで優れています。
• 参考スコア（独自算出の注目度）: 39.35619721100205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) has shown to be effective to boost the performance of graph neural networks (GNNs), where the typical objective is to distill knowledge from a deeper teacher GNN into a shallower student GNN. However, it is often quite challenging to train a satisfactory deeper GNN due to the well-known over-parametrized and over-smoothing issues, leading to invalid knowledge transfer in practical applications. In this paper, we propose the first Free-direction Knowledge Distillation framework via reinforcement learning for GNNs, called FreeKD, which is no longer required to provide a deeper well-optimized teacher GNN. Our core idea is to collaboratively learn two shallower GNNs to exchange knowledge between them. As we observe that one typical GNN model often exhibits better and worse performances at different nodes during training, we devise a dynamic and free-direction knowledge transfer strategy that involves two levels of actions: 1) node-level action determines the directions of knowledge transfer between the corresponding nodes of two networks; and then 2) structure-level action determines which of the local structures generated by the node-level actions to be propagated. Additionally, considering that different augmented graphs can potentially capture distinct perspectives of the graph data, we propose FreeKD-Prompt that learns undistorted and diverse augmentations based on prompt learning for exchanging varied knowledge. Furthermore, instead of confining knowledge exchange within two GNNs, we develop FreeKD++ to enable free-direction knowledge transfer among multiple GNNs. Extensive experiments on five benchmark datasets demonstrate our approaches outperform the base GNNs in a large margin. More surprisingly, our FreeKD has comparable or even better performance than traditional KD algorithms that distill knowledge from a deeper and stronger teacher GNN.
• Abstract（参考訳）: 知識蒸留(KD)は,より深い教師GNNからより浅い学生GNNへ知識を抽出することを目的としたグラフニューラルネットワーク(GNN)の性能向上に有効であることが示されている。 しかし、よく知られた過度にパラメータ化され過度にスムースな問題のために、十分に深いGNNを訓練することはしばしば困難であり、実用的なアプリケーションでは知識の伝達が無効になる。 本稿では,より高度に最適化された教師GNNを提供するのに不要な,GNNの強化学習(FreeKD)による初のフリーダイレクト知識蒸留フレームワークを提案する。 私たちの中核となる考え方は、より浅い2つのGNNを共同で学習し、それら間で知識を交換することです。 1つの典型的なGNNモデルは、トレーニング中に異なるノードでより良く、より悪いパフォーマンスを示すことが多いので、動的かつ自由方向の知識伝達戦略を考案する。 1)ノードレベル動作は、2つのネットワークの対応するノード間の知識伝達の方向を決定する。 2) 構造レベルアクションは、ノードレベルアクションが伝搬する局所構造のいずれかを決定する。 さらに,異なるグラフがグラフデータの異なる視点を捉えうることを考慮し,様々な知識を交換するための素早い学習に基づいて,非歪で多様な拡張を学習するFreeKD-Promptを提案する。 さらに、2つのGNN内で知識交換を精算する代わりに、複数のGNN間で自由方向の知識伝達を可能にするFreeKD++を開発した。 5つのベンチマークデータセットに対する大規模な実験は、我々のアプローチがベースGNNよりも大きなマージンで優れていることを示している。 さらに驚くべきことに、私たちのFreeKDは、より深く強力な教師GNNから知識を抽出する従来のKDアルゴリズムと比べて、同等か、さらに優れたパフォーマンスを持っています。

関連論文リスト

• Collaborative Knowledge Distillation via a Learning-by-Education Node Community [19.54023115706067]
  協調的知識蒸留(CKD)のためのLENC(Learning-by-Education Node Community framework)を紹介する。 LENCは、多様なトレーニングデータ分散を扱う上での課題と、個々のDeep Neural Network(DNN)ノード学習能力の制限に対処する。 オンライン・アンラベリングCKDにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-30T14:22:28Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Hierarchical Contrastive Learning Enhanced Heterogeneous Graph Neural Network [59.860534520941485]
  ヘテロジニアスグラフニューラルネットワーク(HGNN)は、異種情報ネットワーク(HIN)を扱う能力に優れていた。 近年,自己指導型学習は最もエキサイティングな学習パラダイムの1つとなり,ラベルがない場合に大きな可能性を示す。 本稿では,自己教師型HGNNの問題点を考察し,HGNNのための新しいコントラスト学習機構であるHeCoを提案する。
  論文  参考訳（メタデータ） (2023-04-24T16:17:21Z)
• Boosting Graph Neural Networks via Adaptive Knowledge Distillation [18.651451228086643]
  グラフニューラルネットワーク(GNN)は、多様なグラフマイニングタスクにおいて顕著なパフォーマンスを示している。 知識蒸留(KD)は、複数のモデルからの多様な知識を組み合わせるために開発された。 我々は,複数のGNNから学生GNNに情報を逐次転送する,BGNNと呼ばれる新しい適応型KDフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-12T04:48:50Z)
• FreeKD: Free-direction Knowledge Distillation for Graph Neural Networks [31.980564414833175]
  良く知られた過度なパラメータ化と過度な平滑化の問題のために、満足いく教師のGNNを訓練することは困難である。 我々は,GNNの強化学習を通じて,FreeKDと呼ばれる最初のフリーダイレクト知識蒸留フレームワークを提案する。 我々のFreeKDは汎用的で原則化されたフレームワークであり、異なるアーキテクチャのGNNと自然に互換性がある。
  論文  参考訳（メタデータ） (2022-06-14T02:24:38Z)
• AKE-GNN: Effective Graph Learning with Adaptive Knowledge Exchange [14.919474099848816]
  グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクで広く使われている。 近年の研究では、十分に訓練されたGNNにおける学習重量(チャネル)が非常に冗長であり、GNNの性能が制限されていることが明らかになっている。 本稿では,Aaptive Knowledge Exchange 戦略を実行する新しい GNN 学習フレームワーク AKE-GNN を紹介する。
  論文  参考訳（メタデータ） (2021-06-10T02:00:26Z)
• Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
  今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。 対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。 また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
  論文  参考訳（メタデータ） (2021-01-06T03:05:37Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。