論文の概要: Boosting Graph Neural Networks via Adaptive Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2210.05920v2
• Date: Wed, 5 Apr 2023 02:00:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 16:17:26.150061
• Title: Boosting Graph Neural Networks via Adaptive Knowledge Distillation
• Title（参考訳）: 適応的知識蒸留によるグラフニューラルネットワークの促進
• Authors: Zhichun Guo, Chunhui Zhang, Yujie Fan, Yijun Tian, Chuxu Zhang, Nitesh Chawla
• Abstract要約: グラフニューラルネットワーク(GNN)は、多様なグラフマイニングタスクにおいて顕著なパフォーマンスを示している。 知識蒸留(KD)は、複数のモデルからの多様な知識を組み合わせるために開発された。 我々は,複数のGNNから学生GNNに情報を逐次転送する,BGNNと呼ばれる新しい適応型KDフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.651451228086643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have shown remarkable performance on diverse graph mining tasks. Although different GNNs can be unified as the same message passing framework, they learn complementary knowledge from the same graph. Knowledge distillation (KD) is developed to combine the diverse knowledge from multiple models. It transfers knowledge from high-capacity teachers to a lightweight student. However, to avoid oversmoothing, GNNs are often shallow, which deviates from the setting of KD. In this context, we revisit KD by separating its benefits from model compression and emphasizing its power of transferring knowledge. To this end, we need to tackle two challenges: how to transfer knowledge from compact teachers to a student with the same capacity; and, how to exploit student GNN's own strength to learn knowledge. In this paper, we propose a novel adaptive KD framework, called BGNN, which sequentially transfers knowledge from multiple GNNs into a student GNN. We also introduce an adaptive temperature module and a weight boosting module. These modules guide the student to the appropriate knowledge for effective learning. Extensive experiments have demonstrated the effectiveness of BGNN. In particular, we achieve up to 3.05% improvement for node classification and 6.35% improvement for graph classification over vanilla GNNs.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、多様なグラフマイニングタスクにおいて顕著なパフォーマンスを示している。 異なるGNNは、同じメッセージパッシングフレームワークとして統一することができるが、同じグラフから補完的な知識を学ぶ。 知識蒸留(KD)は、複数のモデルからの多様な知識を組み合わせるために開発された。 能力の高い教師から軽量な生徒に知識を伝達する。 しかし、過剰なスムースを避けるために、GNNはしばしば浅く、KDの設定から逸脱する。 この文脈では、kdの利点をモデル圧縮から分離し、知識の伝達力を強調することで、kdを再検討する。 この目的のために、我々は、コンパクトな教師から同じ能力の学生に知識を伝達する方法と、学習者のGNN自身の力を利用して知識を学ぶ方法の2つの課題に取り組む必要がある。 本稿では,複数のGNNからの知識を学生GNNに順次伝達する,BGNNと呼ばれる新しい適応型KDフレームワークを提案する。 また,適応型温度モジュールと重量加重モジュールについても紹介する。 これらのモジュールは、生徒に効果的な学習のための適切な知識を導く。 大規模な実験はBGNNの有効性を実証した。 特に,ノード分類では最大3.05%,バニラGNNでは6.35%の改善を実現している。

関連論文リスト

• IDEA: A Flexible Framework of Certified Unlearning for Graph Neural Networks [68.6374698896505]
  グラフニューラルネットワーク(GNN)は、ますます多くのアプリケーションにデプロイされている。 トレーニングされたGNNがデプロイされ、潜在的攻撃者に対して公開されると、プライバシリークが発生する可能性がある。 我々は,GNNのための柔軟で認定されたアンラーニングを実現するために,IDEAというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-28T04:59:59Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Shared Growth of Graph Neural Networks via Prompted Free-direction Knowledge Distillation [39.35619721100205]
  グラフニューラルネットワーク(GNN)の強化学習による初のフリーダイレクト知識蒸留フレームワークを提案する。 私たちの中核となる考え方は、より浅い2つのGNNを共同で学習し、それら間で知識を交換することです。 5つのベンチマークデータセットの実験では、我々のアプローチはベースGNNよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2023-07-02T10:03:01Z)
• RELIANT: Fair Knowledge Distillation for Graph Neural Networks [39.22568244059485]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクのパフォーマンスを満足することを示した。 知識蒸留(KD)はGNNを圧縮する一般的な方法である。 本稿では,学生モデルが提示するバイアスを軽減するために,RELIANTという原理的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-01-03T15:21:24Z)
• FreeKD: Free-direction Knowledge Distillation for Graph Neural Networks [31.980564414833175]
  良く知られた過度なパラメータ化と過度な平滑化の問題のために、満足いく教師のGNNを訓練することは困難である。 我々は,GNNの強化学習を通じて,FreeKDと呼ばれる最初のフリーダイレクト知識蒸留フレームワークを提案する。 我々のFreeKDは汎用的で原則化されたフレームワークであり、異なるアーキテクチャのGNNと自然に互換性がある。
  論文  参考訳（メタデータ） (2022-06-14T02:24:38Z)
• Graph-Free Knowledge Distillation for Graph Neural Networks [30.38128029453977]
  グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。 グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。 グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
  論文  参考訳（メタデータ） (2021-05-16T21:38:24Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。