論文の概要: FreeKD: Free-direction Knowledge Distillation for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2206.06561v4
• Date: Mon, 27 Mar 2023 05:59:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 03:24:03.092719
• Title: FreeKD: Free-direction Knowledge Distillation for Graph Neural Networks
• Title（参考訳）: FreeKD:グラフニューラルネットワークのための自由方向知識蒸留
• Authors: Kaituo Feng, Changsheng Li, Ye Yuan, Guoren Wang
• Abstract要約: 良く知られた過度なパラメータ化と過度な平滑化の問題のために、満足いく教師のGNNを訓練することは困難である。 我々は,GNNの強化学習を通じて,FreeKDと呼ばれる最初のフリーダイレクト知識蒸留フレームワークを提案する。 我々のFreeKDは汎用的で原則化されたフレームワークであり、異なるアーキテクチャのGNNと自然に互換性がある。
• 参考スコア（独自算出の注目度）: 31.980564414833175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) has demonstrated its effectiveness to boost the performance of graph neural networks (GNNs), where its goal is to distill knowledge from a deeper teacher GNN into a shallower student GNN. However, it is actually difficult to train a satisfactory teacher GNN due to the well-known over-parametrized and over-smoothing issues, leading to invalid knowledge transfer in practical applications. In this paper, we propose the first Free-direction Knowledge Distillation framework via Reinforcement learning for GNNs, called FreeKD, which is no longer required to provide a deeper well-optimized teacher GNN. The core idea of our work is to collaboratively build two shallower GNNs in an effort to exchange knowledge between them via reinforcement learning in a hierarchical way. As we observe that one typical GNN model often has better and worse performances at different nodes during training, we devise a dynamic and free-direction knowledge transfer strategy that consists of two levels of actions: 1) node-level action determines the directions of knowledge transfer between the corresponding nodes of two networks; and then 2) structure-level action determines which of the local structures generated by the node-level actions to be propagated. In essence, our FreeKD is a general and principled framework which can be naturally compatible with GNNs of different architectures. Extensive experiments on five benchmark datasets demonstrate our FreeKD outperforms two base GNNs in a large margin, and shows its efficacy to various GNNs. More surprisingly, our FreeKD has comparable or even better performance than traditional KD algorithms that distill knowledge from a deeper and stronger teacher GNN.
• Abstract（参考訳）: 知識蒸留(KD)は、より深い教師GNNからより浅い学生GNNに知識を抽出することを目的として、グラフニューラルネットワーク(GNN)の性能を高める効果を実証している。 しかし, 教師gnnの訓練は, 過度にパラメータ化され, 過度にスムースな問題が発生し, 実践上の知識の伝達が無効化しているため, 教師gnnの訓練は困難である。 本稿では,より高度に最適化された教師GNNを提供するのに不要な,GNNのための強化学習(FreeKD)による初のフリーダイレクト知識蒸留フレームワークを提案する。 私たちの仕事の核となる考え方は、階層的な方法で強化学習を通じて知識を交換するために、より浅いgnnを2つ共同構築することにあります。 1つの典型的なGNNモデルは、トレーニング中に異なるノードでより良く、より悪いパフォーマンスを持つことが多いので、2つのレベルのアクションからなる動的かつ自由な知識伝達戦略を考案する。 1)ノードレベル動作は、2つのネットワークの対応するノード間の知識伝達の方向を決定する。 2) 構造レベルアクションは、ノードレベルアクションが伝搬する局所構造のいずれかを決定する。 基本的に、FreeKDは汎用的で原則化されたフレームワークであり、異なるアーキテクチャのGNNと自然に互換性がある。 5つのベンチマークデータセットに対する大規模な実験により、FreeKDは2つのベースGNNを大きなマージンで上回り、様々なGNNに対してその効果を示す。 さらに驚くべきことに、私たちのFreeKDは、より深く強力な教師GNNから知識を抽出する従来のKDアルゴリズムと比べて、同等か、さらに優れたパフォーマンスを持っています。

関連論文リスト

• Collaborative Knowledge Distillation via a Learning-by-Education Node Community [19.54023115706067]
  協調的知識蒸留(CKD)のためのLENC(Learning-by-Education Node Community framework)を紹介する。 LENCは、多様なトレーニングデータ分散を扱う上での課題と、個々のDeep Neural Network(DNN)ノード学習能力の制限に対処する。 オンライン・アンラベリングCKDにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-30T14:22:28Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Shared Growth of Graph Neural Networks via Prompted Free-direction Knowledge Distillation [39.35619721100205]
  グラフニューラルネットワーク(GNN)の強化学習による初のフリーダイレクト知識蒸留フレームワークを提案する。 私たちの中核となる考え方は、より浅い2つのGNNを共同で学習し、それら間で知識を交換することです。 5つのベンチマークデータセットの実験では、我々のアプローチはベースGNNよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2023-07-02T10:03:01Z)
• Hierarchical Contrastive Learning Enhanced Heterogeneous Graph Neural Network [59.860534520941485]
  ヘテロジニアスグラフニューラルネットワーク(HGNN)は、異種情報ネットワーク(HIN)を扱う能力に優れていた。 近年,自己指導型学習は最もエキサイティングな学習パラダイムの1つとなり,ラベルがない場合に大きな可能性を示す。 本稿では,自己教師型HGNNの問題点を考察し,HGNNのための新しいコントラスト学習機構であるHeCoを提案する。
  論文  参考訳（メタデータ） (2023-04-24T16:17:21Z)
• Boosting Graph Neural Networks via Adaptive Knowledge Distillation [18.651451228086643]
  グラフニューラルネットワーク(GNN)は、多様なグラフマイニングタスクにおいて顕著なパフォーマンスを示している。 知識蒸留(KD)は、複数のモデルからの多様な知識を組み合わせるために開発された。 我々は,複数のGNNから学生GNNに情報を逐次転送する,BGNNと呼ばれる新しい適応型KDフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-12T04:48:50Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)
• Distilling a Deep Neural Network into a Takagi-Sugeno-Kang Fuzzy Inference System [9.82399898215447]
  ディープニューラルネットワーク(DNN)は、分類タスクにおいて大きな成功を収めている。 しかし、それらはブラックボックスとして機能し、特定の分類タスクでどのように決定するかはわかりません。 本稿では,DNNからの知識を,高木崇源王(TSK)型ファジィ推論システム(FIS)に抽出することを提案する。
  論文  参考訳（メタデータ） (2020-10-10T10:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。