論文の概要: Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2210.13014v1
• Date: Mon, 24 Oct 2022 08:01:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:32:57.389939
• Title: Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks
• Title（参考訳）: 幾何学的知識蒸留:グラフニューラルネットワークのトポロジー圧縮
• Authors: Chenxiao Yang, Qitian Wu, Junchi Yan
• Abstract要約: グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。 本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
• 参考スコア（独自算出の注目度）: 80.8446673089281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a new paradigm of knowledge transfer that aims at encoding graph topological information into graph neural networks (GNNs) by distilling knowledge from a teacher GNN model trained on a complete graph to a student GNN model operating on a smaller or sparser graph. To this end, we revisit the connection between thermodynamics and the behavior of GNN, based on which we propose Neural Heat Kernel (NHK) to encapsulate the geometric property of the underlying manifold concerning the architecture of GNNs. A fundamental and principled solution is derived by aligning NHKs on teacher and student models, dubbed as Geometric Knowledge Distillation. We develop non- and parametric instantiations and demonstrate their efficacy in various experimental settings for knowledge distillation regarding different types of privileged topological information and teacher-student schemes.
• Abstract（参考訳）: 我々は,グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達のパラダイムを,完全グラフ上で訓練された教師GNNモデルから,より小さいあるいはスペーサーグラフで動作する学生GNNモデルへの知識を抽出することによって検討した。 そこで我々は, 熱力学とGNNの挙動の関連性を再考し, GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。 本研究では,異なる種類の特権的トポロジカル情報と教師学生のスキームに関する知識蒸留実験において,非・パラメトリックなインスタンス化を開発し,その効果を実証する。

関連論文リスト

• Tensor-view Topological Graph Neural Network [16.433092191206534]
  グラフニューラルネットワーク(GNN)は最近、グラフ学習において注目を集めている。 既存のGNNは、各ノード周辺の非常に限られた地区からのローカル情報のみを使用する。 本稿では,単純かつ効果的な深層学習のクラスであるTopological Graph Neural Network (TTG-NN)を提案する。 実データ実験により,提案したTTG-NNは,グラフベンチマークにおいて20の最先端手法より優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:55:01Z)
• Joint Feature and Differentiable $ k $-NN Graph Learning using Dirichlet Energy [103.74640329539389]
  特徴選択と識別可能な$k $-NNグラフ学習を同時に行うディープFS法を提案する。 我々は、ニューラルネットワークで$ k $-NNグラフを学習する際の非微分可能性問題に対処するために、最適輸送理論を用いる。 本モデルの有効性を,合成データセットと実世界のデータセットの両方で広範な実験により検証する。
  論文  参考訳（メタデータ） (2023-05-21T08:15:55Z)
• HIRE: Distilling High-order Relational Knowledge From Heterogeneous Graph Neural Networks [4.713436329217004]
  本稿では,事前学習したHGNNからリレーショナル知識を蒸留する多目的プラグアンドプレイモジュールを提案する。 我々の知識を最大限に活用するために、不均一グラフ上のHIRE(HIgh-order Relational)知識蒸留フレームワークを最初に提案する。
  論文  参考訳（メタデータ） (2022-07-25T03:25:15Z)
• Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid Scattering Networks [11.857894213975644]
  本稿では,従来のGCNフィルタと幾何散乱変換を用いて定義された帯域通過フィルタを組み合わせたハイブリッドグラフニューラルネットワーク(GNN)フレームワークを提案する。 理論的には, グラフからの構造情報を活用するために散乱フィルタの相補的な利点が確立され, 実験では様々な学習課題における手法の利点が示された。
  論文  参考訳（メタデータ） (2022-01-22T00:47:41Z)
• Topological Relational Learning on Graphs [2.4692806302088868]
  グラフニューラルネットワーク(GNN)は、グラフ分類と表現学習のための強力なツールとして登場した。 本稿では,GNNに高階グラフ情報を統合可能な新しいトポロジカルリレーショナル推論(TRI)を提案する。 新しいTRI-GNNは、6つの7つのグラフで14の最先端のベースラインを上回り、摂動に対して高い堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:03:27Z)
• Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2020-10-06T01:20:27Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)
• Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks [183.97265247061847]
  我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。 GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。 また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
  論文  参考訳（メタデータ） (2020-03-08T13:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。