論文の概要: Graph-Free Knowledge Distillation for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2105.07519v1
• Date: Sun, 16 May 2021 21:38:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 03:42:35.166019
• Title: Graph-Free Knowledge Distillation for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのためのグラフフリー知識蒸留
• Authors: Xiang Deng and Zhongfei Zhang
• Abstract要約: グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。 グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。 グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
• 参考スコア（独自算出の注目度）: 30.38128029453977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) transfers knowledge from a teacher network to a student by enforcing the student to mimic the outputs of the pretrained teacher on training data. However, data samples are not always accessible in many cases due to large data sizes, privacy, or confidentiality. Many efforts have been made on addressing this problem for convolutional neural networks (CNNs) whose inputs lie in a grid domain within a continuous space such as images and videos, but largely overlook graph neural networks (GNNs) that handle non-grid data with different topology structures within a discrete space. The inherent differences between their inputs make these CNN-based approaches not applicable to GNNs. In this paper, we propose to our best knowledge the first dedicated approach to distilling knowledge from a GNN without graph data. The proposed graph-free KD (GFKD) learns graph topology structures for knowledge transfer by modeling them with multinomial distribution. We then introduce a gradient estimator to optimize this framework. Essentially, the gradients w.r.t. graph structures are obtained by only using GNN forward-propagation without back-propagation, which means that GFKD is compatible with modern GNN libraries such as DGL and Geometric. Moreover, we provide the strategies for handling different types of prior knowledge in the graph data or the GNNs. Extensive experiments demonstrate that GFKD achieves the state-of-the-art performance for distilling knowledge from GNNs without training data.
• Abstract（参考訳）: 知識蒸留(KD)は、教師ネットワークから学生に、訓練済みの教師の学習データに模倣するように強制して知識を伝達する。 しかし、データサンプルは、多くの場合、大きなデータサイズ、プライバシー、機密性のため、常にアクセス可能であるとは限らない。 画像やビデオのような連続した空間内のグリッド領域に入力を配置する畳み込みニューラルネットワーク(CNN)では、この問題に対処する多くの取り組みがなされているが、主に離散空間内の異なるトポロジ構造を持つ非グリッドデータを処理するグラフニューラルネットワーク(GNN)を見落としている。 これらの入力に固有の違いがあるため、これらのCNNベースのアプローチはGNNには適用できない。 本稿では,グラフデータなしでgnnから知識を蒸留する最初の専門的アプローチとして,最良の知識を提案する。 グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。 次に、このフレームワークを最適化するための勾配推定器を導入する。 基本的に 勾配は w. r. t. グラフ構造は、バックプロパゲーションなしでGNNフォワードプロパゲーションのみを使用することで得られ、つまりGFKDはDGLやGeometricといった現代のGNNライブラリと互換性がある。 さらに、グラフデータやGNNにおいて、様々な種類の事前知識を扱うための戦略を提供する。 GFKDは、GNNから知識を抽出する上で、訓練データなしで最先端の性能を達成することを実証した。

関連論文リスト

• Stealing Training Graphs from Graph Neural Networks [54.52392250297907]
  グラフニューラルネットワーク(GNN)は、様々なタスクにおけるグラフのモデリングにおいて有望な結果を示している。 ニューラルネットワークがトレーニングサンプルを記憶できるため、GNNのモデルパラメータはプライベートトレーニングデータをリークするリスクが高い。 訓練されたGNNからグラフを盗むという新しい問題について検討する。
  論文  参考訳（メタデータ） (2024-11-17T23:15:36Z)
• Improved Image Classification with Manifold Neural Networks [13.02854405679453]
  グラフニューラルネットワーク(GNN)は、さまざまな学習タスクで人気を集めている。 本稿では,一般データ表現におけるGNNの可能性,特に画像領域における検討を行う。 分類タスクにおいて、画像ラベルに対応するノードラベルを予測するためにGNNを訓練し、GNNの収束を利用してGNNの一般化を分析する。
  論文  参考訳（メタデータ） (2024-09-19T19:55:33Z)
• Sketch-GNN: Scalable Graph Neural Networks with Sublinear Training Complexity [30.2972965458946]
  グラフネットワーク(GNN)はノード分類などのグラフ学習問題に広く適用されている。 GNNの基盤となるグラフをより大きなサイズにスケールアップする場合、完全なグラフをトレーニングするか、あるいは完全なグラフの隣接とノードのメモリへの埋め込みを維持せざるを得ません。 本稿では,学習時間と記憶量がグラフサイズに比例して増加するスケッチベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-21T18:22:11Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)
• Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks [183.97265247061847]
  我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。 GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。 また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
  論文  参考訳（メタデータ） (2020-03-08T13:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。