論文の概要: STRIDE: Structure and Embedding Distillation with Attention for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2310.15938v2
- Date: Sat, 16 Aug 2025 00:52:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:09.574796
- Title: STRIDE: Structure and Embedding Distillation with Attention for Graph Neural Networks
- Title（参考訳）: STRIDE: グラフニューラルネットワークの留意点による蒸留の構造と埋め込み
- Authors: Anshul Ahluwalia, Payman Behnam, Rohit Das, Alind Khare, Biswadeep Chakraborty, Pan Li, Alexey Tumanov,
- Abstract要約: 知識蒸留(KD)はグラフニューラルネットワーク(GNN)の最も有望な圧縮技術の一つである
GNNのKDアプローチは、最後のレイヤの出力のみを考慮し、GNNの中間レイヤの出力を考慮しない。
我々は、構造と埋め込み蒸留(STRIDE)と呼ばれるGNN圧縮のための新しいKD手法を提案する。
- 参考スコア（独自算出の注目度）: 13.484698601504089
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in Graph Neural Networks (GNNs) have led to increased model sizes to enhance their capacity and accuracy. Such large models incur high memory usage, latency, and computational costs, thereby restricting their inference deployment. GNN compression techniques compress large GNNs into smaller ones with negligible accuracy loss. One of the most promising compression techniques is knowledge distillation (KD). However, most KD approaches for GNNs only consider the outputs of the last layers and do not consider the outputs of the intermediate layers of the GNNs. The intermediate layers may contain important inductive biases indicated by the graph structure and embeddings. Ignoring these layers may lead to a high accuracy drop, especially when the compression ratio is high. To address these shortcomings, we propose a novel KD approach for GNN compression that we call Structure and Embedding Distillation with Attention (STRIDE). STRIDE utilizes attention to identify important intermediate teacher-student layer pairs and focuses on using those pairs to align graph structure and node embeddings. We evaluate STRIDE on several datasets, such as OGBN-Mag and OGBN-Arxiv, using different model architectures, including GCNIIs, RGCNs, and GraphSAGE. On average, STRIDE achieves a 2.13% increase in accuracy with a 32.3X compression ratio on OGBN-Mag, a large graph dataset, compared to state-of-the-art approaches. On smaller datasets (e.g., Pubmed), STRIDE achieves up to a 141X compression ratio with the same accuracy as state-of-the-art approaches. These results highlight the effectiveness of focusing on intermediate-layer knowledge to obtain compact, accurate, and practical GNN models.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)の最近の進歩は、そのキャパシティと精度を高めるためにモデルサイズを増大させた。
このような大きなモデルは、高いメモリ使用量、レイテンシ、計算コストを発生させ、推論のデプロイメントを制限する。
GNN圧縮技術は、大きなGNNを無視できる精度の損失で小さく圧縮する。
最も有望な圧縮技術の一つが知識蒸留(KD)である。
しかしながら、GNNのほとんどのKDアプローチは、最後のレイヤの出力のみを考慮し、GNNの中間レイヤの出力を考慮しない。
中間層は、グラフ構造と埋め込みによって示される重要な帰納バイアスを含むことができる。
これらの層を無視すると、特に圧縮比が高い場合、高い精度の低下につながる可能性がある。
これらの欠点に対処するため、我々は構造と埋め込み蒸留(STRIDE)と呼ばれるGNN圧縮のための新しいKDアプローチを提案する。
STRIDEは、重要な中間教師-学生層ペアの同定に注意を払っており、グラフ構造とノード埋め込みの整列にこれらのペアを使用することに重点を置いている。
我々はGCNII, RGCN, GraphSAGEなどの異なるモデルアーキテクチャを用いて, OGBN-Mag や OGBN-Arxiv などのデータセット上でSTRIDEを評価する。
STRIDEの精度は平均2.13%向上し、OGBN-Magの32.3X圧縮比は、最先端のアプローチと比較して大きなグラフデータセットである。
より小さなデータセット(例:Pubmed)では、STRIDEは最先端のアプローチと同じ精度で141X圧縮比を達成する。
これらの結果は、コンパクトで正確で実用的なGNNモデルを得るための中間層知識に焦点を当てることの有効性を強調している。
関連論文リスト
- Graph Neural Networks Need Cluster-Normalize-Activate Modules [19.866482154218374]
グラフニューラルネットワーク(GNN)は、グラフ構造化データの非ユークリッドディープラーニングモデルである。
本稿では,CNA(Cluster-Normalize-Activate)という3つのステップからなるプラグアンドプレイモジュールを提案する。
CNAはノード分類とプロパティ予測タスクにおける最先端の精度を大幅に向上させる。
論文 参考訳（メタデータ） (2024-12-05T10:59:20Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。
GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。
以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2023-09-12T09:18:12Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-05-22T10:29:52Z) - Explainable Sparse Knowledge Graph Completion via High-order Graph
Reasoning Network [111.67744771462873]
本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。
高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。
情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
論文 参考訳（メタデータ） (2022-07-14T10:16:56Z) - SCGC : Self-Supervised Contrastive Graph Clustering [1.1470070927586016]
グラフクラスタリングはネットワーク内のグループやコミュニティを検出する。
オートエンコーダのような深層学習手法は、豊富な構造情報を組み込むことはできない。
自己監督型コントラストグラフクラスタリング(SCGC)を提案する。
論文 参考訳（メタデータ） (2022-04-27T01:38:46Z) - Learnt Sparsification for Interpretable Graph Neural Networks [5.527927312898106]
不要な隣人を除去することにより、基礎となるグラフを明示的にスパース化するための、Kedgeと呼ばれる新しい手法を提案する。
Kedgeは、任意のGNNでトレーニングされたモジュール方式でエッジマスクを学習することで、勾配ベースの最適化を実現する。
我々は,GNN層の増加に伴うタスク性能の維持により,深いGNNにおける過度なスムース現象に対して,Kedgeが効果的に対処可能であることを示す。
論文 参考訳（メタデータ） (2021-06-23T16:04:25Z) - Graph-Free Knowledge Distillation for Graph Neural Networks [30.38128029453977]
グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。
グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。
グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
論文 参考訳（メタデータ） (2021-05-16T21:38:24Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。
鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。
階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
論文 参考訳（メタデータ） (2020-09-08T13:11:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。