論文の概要: Graph-based Knowledge Distillation: A survey and experimental evaluation
- arxiv url: http://arxiv.org/abs/2302.14643v1
- Date: Mon, 27 Feb 2023 11:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 15:57:53.859728
- Title: Graph-based Knowledge Distillation: A survey and experimental evaluation
- Title（参考訳）: グラフに基づく知識蒸留:調査と実験的評価
- Authors: Jing Liu, Tongya Zheng, Guanzheng Zhang, Qinfen Hao
- Abstract要約: 既存のグラフニューラルネットワーク(GNN)を強化するために知識蒸留(KD)が導入されている。
KDは、予測性能を維持しながら、大きな教師モデルのソフトレーベルの監督を小学生モデルに移行することを含む。
本稿ではまず,グラフとKDの背景について紹介し,その上で3種類の知識蒸留法について概説する。
- 参考スコア（独自算出の注目度）: 4.713436329217004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph, such as citation networks, social networks, and transportation
networks, are prevalent in the real world. Graph Neural Networks (GNNs) have
gained widespread attention for their robust expressiveness and exceptional
performance in various graph applications. However, the efficacy of GNNs is
heavily reliant on sufficient data labels and complex network models, with the
former obtaining hardly and the latter computing costly. To address the labeled
data scarcity and high complexity of GNNs, Knowledge Distillation (KD) has been
introduced to enhance existing GNNs. This technique involves transferring the
soft-label supervision of the large teacher model to the small student model
while maintaining prediction performance. This survey offers a comprehensive
overview of Graph-based Knowledge Distillation methods, systematically
categorizing and summarizing them while discussing their limitations and future
directions. This paper first introduces the background of graph and KD. It then
provides a comprehensive summary of three types of Graph-based Knowledge
Distillation methods, namely Graph-based Knowledge Distillation for deep neural
networks (DKD), Graph-based Knowledge Distillation for GNNs (GKD), and
Self-Knowledge Distillation based Graph-based Knowledge Distillation (SKD).
Each type is further divided into knowledge distillation methods based on the
output layer, middle layer, and constructed graph. Subsequently, various
algorithms' ideas are analyzed and compared, concluding with the advantages and
disadvantages of each algorithm supported by experimental results. In addition,
the applications of graph-based knowledge distillation in CV, NLP, RS, and
other fields are listed. Finally, the graph-based knowledge distillation is
summarized and prospectively discussed. We have also released related resources
at https://github.com/liujing1023/Graph-based-Knowledge-Distillation.
- Abstract（参考訳）: 引用ネットワーク、ソーシャルネットワーク、輸送ネットワークといったグラフは、現実世界で広く使われている。
グラフニューラルネットワーク(GNN)は、様々なグラフアプリケーションにおいて、堅牢な表現力と例外的な性能で広く注目を集めている。
しかし、GNNの有効性は十分なデータラベルや複雑なネットワークモデルに大きく依存しており、前者がほとんど得られず、後者の計算はコストがかかる。
ラベル付きデータ不足とGNNの複雑さに対処するため、既存のGNNを強化するために知識蒸留(KD)が導入されている。
この手法は, 予測性能を維持しつつ, 大規模教員モデルのソフトラベル監督を小学生モデルに移管することを含む。
本調査では,グラフに基づく知識蒸留法の概要を概観し,その限界と今後の方向性を議論しながら,体系的に分類・要約する。
本稿ではまず,グラフとKDの背景を紹介する。
次に、ディープニューラルネットワーク(DKD)のためのグラフベースの知識蒸留(Graph-based Knowledge Distillation)、GNNのためのグラフベースの知識蒸留(GKD)、グラフベースの知識蒸留(SKD)である。
各タイプはさらに、出力層、中間層、構築されたグラフに基づいて知識蒸留方法に分割される。
その後、様々なアルゴリズムのアイデアを分析し比較し、実験結果によって支持される各アルゴリズムの利点と欠点を結論付ける。
さらに,CV,NLP,RS,その他の分野におけるグラフベースの知識蒸留の応用について述べる。
最後に,グラフに基づく知識蒸留について概説する。
関連リソースはhttps://github.com/liujing1023/GraphベースのKnowledge-Distillationでもリリースしています。
関連論文リスト
- Graph Relation Distillation for Efficient Biomedical Instance
Segmentation [80.51124447333493]
本稿では,効率的なバイオメディカル・インスタンス・セグメンテーションのためのグラフ関係蒸留手法を提案する。
画像内レベルと画像間レベルの両方に展開する2つのグラフ蒸留方式を導入する。
多くのバイオメディカルデータセットの実験結果から,本手法の有効性が検証された。
論文 参考訳（メタデータ） (2024-01-12T04:41:23Z) - A Study on Knowledge Graph Embeddings and Graph Neural Networks for Web
Of Things [0.0]
将来的には、Web Of Things(WoT)の領域における知識グラフは、物理世界のデジタル表現を提供することである。
本稿では,グラフエンティティの数値表現を学習するために,最先端知識グラフ埋め込み(KGE)法について検討する。
また、KGEとともにグラフニューラルネットワーク(GNN)を調査し、同じ下流タスクでの性能を比較する。
論文 参考訳（メタデータ） (2023-10-23T12:36:33Z) - Knowledge Enhanced Graph Neural Networks for Graph Completion [0.0]
Knowledge Enhanced Graph Neural Networks (KeGNN)は、グラフ補完のためのニューラルシンボリックなフレームワークである。
KeGNNは、知識強化レイヤを積み重ねた基盤としてグラフニューラルネットワークで構成されている。
我々はKeGNNを、最先端のグラフニューラルネットワーク、グラフ畳み込みネットワーク、グラフ注意ネットワークの2つと組み合わせてインスタンス化する。
論文 参考訳（メタデータ） (2023-03-27T07:53:43Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳（メタデータ） (2023-01-14T09:15:49Z) - An Empirical Study of Retrieval-enhanced Graph Neural Networks [48.99347386689936]
グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。
本稿では,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL という検索強化方式を提案する。
我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。
論文 参考訳（メタデータ） (2022-06-01T09:59:09Z) - Graph-level Neural Networks: Current Progress and Future Directions [61.08696673768116]
グラフレベルのニューラルネットワーク(GLNN、ディープラーニングベースのグラフレベルの学習法)は、高次元データのモデリングにおいて優れているため、魅力的である。
本稿では,深層ニューラルネットワーク,グラフニューラルネットワーク,グラフプール上でのGLNNを網羅する系統分類法を提案する。
論文 参考訳（メタデータ） (2022-05-31T06:16:55Z) - Compressing Deep Graph Neural Networks via Adversarial Knowledge
Distillation [41.00398052556643]
本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。
識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。
その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
論文 参考訳（メタデータ） (2022-05-24T00:04:43Z) - GraphHD: Efficient graph classification using hyperdimensional computing [58.720142291102135]
本稿では,HDCを用いたグラフ分類のベースライン手法を提案する。
実世界のグラフ分類問題におけるGraphHDの評価を行った。
その結果,最新のグラフニューラルネットワーク (GNN) と比較すると,提案手法の精度は同等であることがわかった。
論文 参考訳（メタデータ） (2022-05-16T17:32:58Z) - Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。
具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。
我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2022-05-08T08:19:40Z) - Graph Representation Learning by Ensemble Aggregating Subgraphs via
Mutual Information Maximization [5.419711903307341]
グラフニューラルネットワークが学習するグラフレベルの表現を高めるための自己監視型学習法を提案する。
グラフ構造を網羅的に理解するために,サブグラフ法のようなアンサンブル学習を提案する。
また, 効率的かつ効果的な対位学習を実現するために, ヘッドテールコントラストサンプル構築法を提案する。
論文 参考訳（メタデータ） (2021-03-24T12:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。