論文の概要: ABKD: Graph Neural Network Compression with Attention-Based Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2310.15938v1
• Date: Tue, 24 Oct 2023 15:34:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 17:58:18.502357
• Title: ABKD: Graph Neural Network Compression with Attention-Based Knowledge Distillation
• Title（参考訳）: ABKD:意識に基づく知識蒸留によるグラフニューラルネットワーク圧縮
• Authors: Anshul Ahluwalia, Rohit Das, Payman Behnam, Alind Khare, Pan Li, Alexey Tumanov
• Abstract要約: グラフニューラルネットワーク(GNN)は、レコメンデーションシステム、偽ニュース検出、薬物発見、コンピュータビジョンなど、さまざまな用途に非常に汎用性があることが証明されている。 グラフ構造データのサイズが大きくなるため、GNNモデルも複雑さが増し、重大なレイテンシの問題が発生している。 我々は、意図に基づく知識蒸留(ABKD)と呼ばれるGNN圧縮に対する新しいKDアプローチを提案する。
• 参考スコア（独自算出の注目度）: 11.160340905654449
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) have proven to be quite versatile for a variety of applications, including recommendation systems, fake news detection, drug discovery, and even computer vision. Due to the expanding size of graph-structured data, GNN models have also increased in complexity, leading to substantial latency issues. This is primarily attributed to the irregular structure of graph data and its access pattern into memory. The natural solution to reduce latency is to compress large GNNs into small GNNs. One way to do this is via knowledge distillation (KD). However, most KD approaches for GNNs only consider the outputs of the last layers and do not consider the outputs of the intermediate layers of the GNNs; these layers may contain important inductive biases indicated by the graph structure. To address this shortcoming, we propose a novel KD approach to GNN compression that we call Attention-Based Knowledge Distillation (ABKD). ABKD is a KD approach that uses attention to identify important intermediate teacher-student layer pairs and focuses on aligning their outputs. ABKD enables higher compression of GNNs with a smaller accuracy dropoff compared to existing KD approaches. On average, we achieve a 1.79% increase in accuracy with a 32.3x compression ratio on OGBN-Mag, a large graph dataset, compared to state-of-the-art approaches.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、レコメンデーションシステム、偽ニュース検出、薬物発見、コンピュータビジョンなど、さまざまな用途に非常に汎用性があることが証明されている。 グラフ構造データのサイズが大きくなるため、GNNモデルも複雑さが増し、重大なレイテンシの問題が発生している。 これは主に、グラフデータの不規則な構造とそのメモリへのアクセスパターンに起因する。 レイテンシを低減するための自然な解決策は、大きなGNNを小さなGNNに圧縮することだ。 この方法の1つは知識蒸留(KD)である。 しかしながら、GNNのほとんどのKDアプローチは、最後の層の出力のみを考慮し、GNNの中間層の出力を考慮しない。 この問題に対処するため,我々は,Attention-Based Knowledge Distillation (ABKD) と呼ぶ,GNN圧縮に対する新しいKDアプローチを提案する。 ABKDはKDアプローチであり、重要な中学生層を識別し、出力の整合に集中する。 ABKDは既存のKD手法に比べて精度の低いGNNの圧縮を可能にする。 グラフデータセットであるOGBN-Magの32.3倍圧縮比を,最先端のアプローチと比較して平均1.79%の精度向上を実現した。

関連論文リスト

• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
  本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。 高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。 情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2022-07-14T10:16:56Z)
• SCGC : Self-Supervised Contrastive Graph Clustering [1.1470070927586016]
  グラフクラスタリングはネットワーク内のグループやコミュニティを検出する。 オートエンコーダのような深層学習手法は、豊富な構造情報を組み込むことはできない。 自己監督型コントラストグラフクラスタリング(SCGC)を提案する。
  論文  参考訳（メタデータ） (2022-04-27T01:38:46Z)
• Learnt Sparsification for Interpretable Graph Neural Networks [5.527927312898106]
  不要な隣人を除去することにより、基礎となるグラフを明示的にスパース化するための、Kedgeと呼ばれる新しい手法を提案する。 Kedgeは、任意のGNNでトレーニングされたモジュール方式でエッジマスクを学習することで、勾配ベースの最適化を実現する。 我々は,GNN層の増加に伴うタスク性能の維持により,深いGNNにおける過度なスムース現象に対して,Kedgeが効果的に対処可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-23T16:04:25Z)
• Graph-Free Knowledge Distillation for Graph Neural Networks [30.38128029453977]
  グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。 グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。 グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
  論文  参考訳（メタデータ） (2021-05-16T21:38:24Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
  本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。 鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。 階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-08T13:11:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。