論文の概要: Online Cross-Layer Knowledge Distillation on Graph Neural Networks with
Deep Supervision
- arxiv url: http://arxiv.org/abs/2210.13743v1
- Date: Tue, 25 Oct 2022 03:21:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 13:47:35.031706
- Title: Online Cross-Layer Knowledge Distillation on Graph Neural Networks with
Deep Supervision
- Title（参考訳）: 深層監視型グラフニューラルネットワークのオンラインクロスレイヤー知識蒸留
- Authors: Jiongyu Guo, Defang Chen, Can Wang
- Abstract要約: グラフニューラルネットワーク(GNN)は、学術と産業の両方で最も人気のある研究トピックの1つとなっている。
大規模なデータセットは、限られたリソースを持つエッジデバイスにGNNをデプロイする上で、大きな課題となっている。
本稿ではAlignahead++と呼ばれる新しいオンライン知識蒸留フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 6.8080936803807734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have become one of the most popular research
topics in both academia and industry communities for their strong ability in
handling irregular graph data. However, large-scale datasets are posing great
challenges for deploying GNNs in edge devices with limited resources and model
compression techniques have drawn considerable research attention. Existing
model compression techniques such as knowledge distillation (KD) mainly focus
on convolutional neural networks (CNNs). Only limited attempts have been made
recently for distilling knowledge from GNNs in an offline manner. As the
performance of the teacher model does not necessarily improve as the number of
layers increases in GNNs, selecting an appropriate teacher model will require
substantial efforts. To address these challenges, we propose a novel online
knowledge distillation framework called Alignahead++ in this paper.
Alignahead++ transfers structure and feature information in a student layer to
the previous layer of another simultaneously trained student model in an
alternating training procedure. Meanwhile, to avoid over-smoothing problem in
GNNs, deep supervision is employed in Alignahead++ by adding an auxiliary
classifier in each intermediate layer to prevent the collapse of the node
feature embeddings. Experimental results on four datasets including PPI, Cora,
PubMed and CiteSeer demonstrate that the student performance is consistently
boosted in our collaborative training framework without the supervision of a
pre-trained teacher model and its effectiveness can generally be improved by
increasing the number of students.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、不規則なグラフデータを扱う強力な能力によって、学界と業界コミュニティの両方で最も人気のある研究トピックの1つになっている。
しかしながら、リソースやモデル圧縮技術に制限のあるエッジデバイスにgnnをデプロイする上で、大規模なデータセットは大きな課題となっている。
知識蒸留(KD)のような既存のモデル圧縮技術は主に畳み込みニューラルネットワーク(CNN)に焦点を当てている。
オフラインでGNNから知識を蒸留する試みは、最近しか行われていない。
教師モデルの性能はGNNの層数が増加するにつれて必ずしも向上しないため、適切な教師モデルを選択するにはかなりの努力が必要である。
本稿では,Alignahead++という新しいオンライン知識蒸留フレームワークを提案する。
alignahead++は、学生層の構造と特徴情報を、交互に訓練された他の生徒モデルの前層に転送する。
一方、gnnの過剰なスムーシング問題を避けるために、各中間層に補助的な分類器を追加して、ノードの機能埋め込みの崩壊を防止することで、allentahead++において深い監督を行う。
PPI, Cora, PubMed, CiteSeerの4つのデータセットによる実験結果から, 事前学習した教師モデルの監督なしに, 学生のパフォーマンスが一貫して向上し, 学生数を増やすことでその効果が向上することが示された。
関連論文リスト
- DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Distributed Graph Neural Network Training: A Survey [51.77035975191926]
グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。
GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。
治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
論文 参考訳（メタデータ） (2022-11-01T01:57:00Z) - On-Device Domain Generalization [93.79736882489982]
ドメインの一般化はデバイス上の機械学習アプリケーションにとって重要である。
知識蒸留がこの問題の解決の有力な候補であることがわかった。
本研究では,教師が配布外データをどのように扱えるかを学生に教えることを目的とした,配布外知識蒸留(OKD)という簡単なアイデアを提案する。
論文 参考訳（メタデータ） (2022-09-15T17:59:31Z) - Compressing Deep Graph Neural Networks via Adversarial Knowledge
Distillation [41.00398052556643]
本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。
識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。
その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
論文 参考訳（メタデータ） (2022-05-24T00:04:43Z) - Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。
具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。
我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2022-05-08T08:19:40Z) - Alignahead: Online Cross-Layer Knowledge Extraction on Graph Neural
Networks [6.8080936803807734]
グラフニューラルネットワーク(GNN)上の既存の知識蒸留手法はほとんどオフラインである。
本稿では,この問題を解決するための新しいオンライン知識蒸留フレームワークを提案する。
一方の学生層を別の学生モデルの異なる深さの層に整列させることにより, クロス層蒸留戦略を開発する。
論文 参考訳（メタデータ） (2022-05-05T06:48:13Z) - Graph-Free Knowledge Distillation for Graph Neural Networks [30.38128029453977]
グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。
グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。
グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
論文 参考訳（メタデータ） (2021-05-16T21:38:24Z) - Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。
少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。
本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
論文 参考訳（メタデータ） (2020-07-14T07:43:09Z) - Distilling Spikes: Knowledge Distillation in Spiking Neural Networks [22.331135708302586]
Spiking Neural Networks (SNN) は、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。
画像分類のためのスパイクニューラルネットワークにおける知識蒸留手法を提案する。
我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
論文 参考訳（メタデータ） (2020-05-01T09:36:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。