論文の概要: Heterophily-Aware Adaptive Knowledge Distillation for Hypergraph Neural Networks

• arxiv url: http://arxiv.org/abs/2606.08978v1
• Date: Mon, 08 Jun 2026 03:23:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.678133
• Title: Heterophily-Aware Adaptive Knowledge Distillation for Hypergraph Neural Networks
• Title（参考訳）: ハイパーグラフニューラルネットワークにおける適応的知識蒸留
• Authors: Joohee Cho, David Yoon Suk Kang, Yunyong Ko,
• Abstract要約: ハイパーグラフニューラルネットワーク(HNN)は、意味的に多様なハイパーエッジを介して接続されたヘテロ親和性ノードにおいて、かなり低い予測性能を示す。 ハイパーグラフニューラルネットワークのためのヘテロフィア対応蒸留法であるHADESを提案する。
• 参考スコア（独自算出の注目度）: 0.46899845570573934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hypergraph knowledge distillation aims to retain the predictive performance of a hypergraph neural network (HNN) teacher while reducing inference costs through a lightweight student model. In this work, we observe that HNNs exhibit substantially lower prediction performance on heterophilic nodes connected through semantically diverse hyperedges, indicating that the reliability of teacher knowledge varies across nodes. Motivated by this observation, we propose HADES, a heterophily-aware adaptive distillation method for hypergraph neural networks. HADES quantifies node heterophily and leverages it as an estimate of teacher reliability to modulate the transfer of teacher knowledge during distillation. Experimental results on real-world hypergraphs demonstrate that HADES consistently improves student performance across different HNN teachers and distillation objectives. In many cases, the resulting student models surpass the predictive performance of their teachers while achieving up to 12.3 times faster inference.
• Abstract（参考訳）: ハイパーグラフ知識蒸留は、ハイパーグラフニューラルネットワーク(HNN)教師の予測性能を維持しつつ、軽量な学生モデルによる推論コストを低減することを目的としている。 本研究では,HNNが意味的に多様なハイパーエッジを通して接続されたヘテロ親和性ノードの予測性能を著しく低下させ,教師の知識の信頼性がノードによって異なることを示す。 本研究の目的は,ハイパーグラフニューラルネットワークのためのヘテロフィア対応蒸留法であるHADESを提案することである。 HADESはノードを不均一に定量化し、それを教師の信頼性の推定として利用し、蒸留中の教師の知識の伝達を調節する。 実世界のハイパーグラフによる実験結果から,HADESは様々なHNN教師と蒸留目標において,生徒のパフォーマンスを一貫して向上させることが示された。 多くの場合、得られた学生モデルは教師の予測性能を上回り、最大12.3倍の速さで推論を行う。

関連論文リスト

• Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks [61.608453110751206]
  本稿では,グラフニューラルネットワークのための高速かつ高品質なデータフリー知識蒸留手法を提案する。 グラフフリーKD法(ACGKD)は擬似グラフの空間的複雑さを著しく低減する。 ACGKDは、生徒の次元を拡大することで、生徒と教師のモデル間の次元のあいまいさを取り除く。
  論文  参考訳（メタデータ） (2025-04-01T08:44:27Z)
• Self-Distillation Learning Based on Temporal-Spatial Consistency for Spiking Neural Networks [3.7748662901422807]
  スパイキングニューラルネットワーク(SNN)は、その事象駆動性、低消費電力特性、高い生物学的解釈性によって大きな注目を集めている。 近年,教員モデルによるSNNモデルの性能向上が報告されている。 本稿では,これらの問題を回避するために,コスト効率の高いSNNの自己蒸留学習について検討する。
  論文  参考訳（メタデータ） (2024-06-12T04:30:40Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
  蒸留した学生の一般化行動について検討する。 この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。 オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
  論文  参考訳（メタデータ） (2023-01-28T16:34:47Z)
• HIRE: Distilling High-order Relational Knowledge From Heterogeneous Graph Neural Networks [4.713436329217004]
  本稿では,事前学習したHGNNからリレーショナル知識を蒸留する多目的プラグアンドプレイモジュールを提案する。 我々の知識を最大限に活用するために、不均一グラフ上のHIRE(HIgh-order Relational)知識蒸留フレームワークを最初に提案する。
  論文  参考訳（メタデータ） (2022-07-25T03:25:15Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Online Adversarial Knowledge Distillation for Graph Neural Networks [25.902263307225816]
  畳み込みニューラルネットワーク(CNN)におけるモデルの一般化を促進するための知識蒸留 本稿では,一群のグラフニューラルネットワークを学習するためのオンライン逆蒸留手法を提案する。
  論文  参考訳（メタデータ） (2021-12-28T02:30:11Z)
• Teacher's pet: understanding and mitigating biases in distillation [61.44867470297283]
  いくつかの研究により、蒸留によって学生の全体的なパフォーマンスが著しく向上することが示されている。 しかし、これらのゲインはすべてのデータサブグループに均一なのでしょうか? 蒸留が特定の部分群の性能に悪影響を及ぼすことを示す。 信頼性の低いサブグループに対して,教師の影響を和らげる手法を提案する。
  論文  参考訳（メタデータ） (2021-06-19T13:06:25Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。