論文の概要: Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs
- arxiv url: http://arxiv.org/abs/2610.10520v1
- Date: Wed, 07 Oct 2026 17:56:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.097851
- Title: Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs
- Title（参考訳）: グラフ幾何学の蒸留:GNNからMPPへの知識ギャップ
- Abstract要約: 既存の手法は主にノードワイズ予測を転送するか、信頼に基づく再重み付けを使うが、教師のグラフによる幾何をどこに保存すべきかは特定していない。
この欠落は,学生の表現空間に2つのスペクトル障害モードをもたらすことを示す。
Ollivier-Ricci が指導する訓練時間蒸留フレームワーク Graph-Aware Geometry (G2MLP) を提案する。
- 参考スコア（独自算出の注目度）: 12.406292967852119
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GNN-to-MLP distillation aims to retain the predictive accuracy of a message-passing teacher while deploying a graph-free MLP at inference. Existing methods mainly transfer node-wise predictions or use confidence-based reweighting, but they do not specify where the student should preserve the teacher's graph-induced geometry. We show that this omission leads to two spectral failure modes in the student's representation space. On sparse graphs, the student suffers from spectral underfit, missing high-energy teacher directions concentrated near boundary regions. On dense graphs, it suffers from spectral overfit, retaining spurious directions that the teacher has collapsed through aggregation. Motivated by an energy-weighted teacher-student alignment objective, we propose Graph Geometry-aware MLP (G^2MLP), a training-time distillation framework guided by Ollivier-Ricci curvature. Curvature identifies where the two spectral errors concentrate and is used to allocate supervision between prediction-level and representation-level alignment. The deployed model remains a standard MLP and requires no graph access at inference. Across node-classification benchmarks, G^2MLP consistently improves over graph-free distillation baselines, reduces the teacher-student rank gap in both regimes, and transfers without architectural changes to Graph Transformer teachers and link prediction.
- Abstract（参考訳）: GNN-to-MLP蒸留は、グラフのないMLPを推論時に展開しながら、メッセージパスする教師の予測精度を維持することを目的としている。
既存の手法は主にノードワイズ予測を転送するか、信頼に基づく再重み付けを使うが、教師のグラフによる幾何をどこに保存すべきかは特定していない。
この欠落は,学生の表現空間に2つのスペクトル障害モードをもたらすことを示す。
スパースグラフでは、学生はスペクトル不足に悩まされ、境界付近に集中する高エネルギー教師の指示が欠けている。
濃密なグラフでは、スペクトルオーバーフィットに悩まされ、教師が集約によって崩壊した急激な方向を維持している。
そこで我々は,Ollivier-Ricci曲率による学習時間蒸留フレームワークであるG^2MLP(Graph Geometry-aware MLP)を提案する。
曲線は、2つのスペクトル誤差が集中した場所を特定し、予測レベルと表現レベルのアライメントの監督を割り当てるのに使用される。
デプロイされたモデルは標準のMPPのままであり、推論時にグラフアクセスを必要としない。
ノード分類ベンチマーク全体において、G^2MLPはグラフのない蒸留ベースラインを一貫して改善し、両方のレシエーションにおける教師と学生のランクギャップを減らし、グラフトランスフォーマーの教師やリンク予測にアーキテクチャ上の変更を伴わない転送を行う。
関連論文リスト
- Graph Domain Adaptation Does Not End with Representation Learning [13.126758095553972]
我々はEvidence-Augmented Graph Domain AdaptationフレームワークであるEviGDAを提案する。
グラフ表現適応をグラフのないローカルエキスパートで補完する。
EviGDAは、10のデータセットと16の転送タスクの実験において、最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2026-09-22T04:49:24Z) - Graph Convolutional Attention: A Spectral Perspective on Graph Denoising and Diffusion [82.7007012514703]
偏極的目的の下では、線形注意は準最適であり、トレーニング分布に対して平均スペクトル偏極フィルタを学習することしかできないことを示す。
本稿では、入力グラフスペクトルを直接利用し、分布のスペクトル多様性に支配されるマージンによって線形注意を確実に上回るスペクトル注意法を提案する。
ブロックモデルでは、GCAは理想化されたスペクトルアテンション機構に確実に適合する。
論文 参考訳（メタデータ） (2026-07-07T17:52:17Z) - InfGraND: An Influence-Guided GNN-to-MLP Knowledge Distillation [0.49259062564301753]
グラフニューラルネットワーク(GNN)は、グラフデータ分析のためのモデルである。
GNN教師から学生への知識蒸留(KD)がこのギャップを埋めるために現れた。
InferGraNDは、蒸留過程を導くために構造に影響を及ぼすノードを特定し、優先順位付けする。
InferGraNDは1回のマルチホップ近傍特徴計算による推論に構造的認識を組み込む。
論文 参考訳（メタデータ） (2026-01-12T22:03:26Z) - Heuristic Methods are Good Teachers to Distill MLPs for Graph Link Prediction [61.70012924088756]
グラフニューラルネットワーク(GNN)の教師をMLP(Multi-Layer Perceptrons)の学生に拡張することは、強力なパフォーマンスを実現するための効果的なアプローチとして現れている。
しかし、既存の蒸留法では標準のGNNのみを使用し、リンク予測専用モデル(GNN4LP)や方法(一般的な隣人など)など代替の教師を見落としている。
本稿ではまず, GNN-to-MLP蒸留における異なる教師の影響について検討し, より強い教師は必ずしもより強い生徒を産み出すわけではないが, より弱い手法は, 訓練コストを大幅に削減して, 近GNNのパフォーマンスを教えることができることを示した。
論文 参考訳（メタデータ） (2025-04-08T16:35:11Z) - Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation from GNNs to MLPs [39.78378636099604]
グラフエッジ(エッジフリー設定)を必要としないが構造認識を学習するプロトタイプガイド型知識蒸留(PGKD)を提案する。
具体的には、まず、グラフニューラルネットワーク(GNN)におけるグラフ構造の影響を分析するために、クラスプロトタイプを使用します。
次に、そのような情報をGNNからベンチマークに抽出するために2つの損失を設計する。
論文 参考訳（メタデータ） (2023-03-24T02:28:55Z) - OrthoReg: Improving Graph-regularized MLPs via Orthogonality
Regularization [66.30021126251725]
グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。
グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。
GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。
次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
論文 参考訳（メタデータ） (2023-01-31T21:20:48Z) - Compressing Deep Graph Neural Networks via Adversarial Knowledge
Distillation [41.00398052556643]
本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。
識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。
その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
論文 参考訳（メタデータ） (2022-05-24T00:04:43Z) - Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。
本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
論文 参考訳（メタデータ） (2022-02-07T08:04:59Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳（メタデータ） (2022-01-17T11:57:29Z) - Iterative Graph Self-Distillation [161.04351580382078]
我々は、IGSD(Iterative Graph Self-Distillation)と呼ばれる新しい教師なしグラフ学習パラダイムを提案する。
IGSDは、グラフ拡張による教師/学生の蒸留を反復的に行う。
我々は,教師なしと半教師なしの両方の設定において,さまざまなグラフデータセットに対して,有意かつ一貫したパフォーマンス向上を実現していることを示す。
論文 参考訳（メタデータ） (2020-10-23T18:37:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。