論文の概要: Scalable Heterogeneous Graph Learning via Heterogeneous-aware Orthogonal Prototype Experts
- arxiv url: http://arxiv.org/abs/2601.05537v1
- Date: Fri, 09 Jan 2026 05:23:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-12 17:41:49.847508
- Title: Scalable Heterogeneous Graph Learning via Heterogeneous-aware Orthogonal Prototype Experts
- Title(参考訳): 異種対応直交型エキスパートによるスケーラブルな異種グラフ学習
- Authors: Wei Zhou, Hong Huang, Ruize Shi, Bang Liu,
- Abstract要約: 不均一グラフニューラルネットワーク(HGNN)は主により良いエンコーダによって進歩しているが、その復号/投射段階は依然として1つの共有線形ヘッドに依存している。
私たちはこれをリニア・プロジェクション・ボトルネック(Linear Projection Bottleneck)と呼んでいます。
本稿では,標準予測ヘッドのプラグ・アンド・プレイ代替であるHOPEという,異種対応のOrthogonal Prototype Expertsフレームワークを提案する。
- 参考スコア(独自算出の注目度): 31.303203640348553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heterogeneous Graph Neural Networks(HGNNs) have advanced mainly through better encoders, yet their decoding/projection stage still relies on a single shared linear head, assuming it can map rich node embeddings to labels. We call this the Linear Projection Bottleneck: in heterogeneous graphs, contextual diversity and long-tail shifts make a global head miss fine semantics, overfit hub nodes, and underserve tail nodes. While Mixture-of-Experts(MoE) could help, naively applying it clashes with structural imbalance and risks expert collapse. We propose a Heterogeneous-aware Orthogonal Prototype Experts framework named HOPE, a plug-and-play replacement for the standard prediction head. HOPE uses learnable prototype-based routing to assign instances to experts by similarity, letting expert usage follow the natural long-tail distribution, and adds expert orthogonalization to encourage diversity and prevent collapse. Experiments on four real datasets show consistent gains across SOTA HGNN backbones with minimal overhead.
- Abstract(参考訳): ヘテロジニアスグラフニューラルネットワーク(HGNN)は主により良いエンコーダを通して進歩しているが、そのデコード/投影段階は、リッチノードの埋め込みをラベルにマッピングできると仮定して、依然として1つの共有線形ヘッドに依存している。
これはLinear Projection Bottleneckと呼ばれます – 異種グラフでは、コンテキストの多様性と長いテールシフトによって、グローバルなヘッドが微妙なセマンティクスを見逃し、ハブノードが過度に適合し、テールノードが不足しています。
Mixture-of-Experts(MoE)は、構造的不均衡とリスク専門家の崩壊と衝突する。
本稿では,標準予測ヘッドのプラグ・アンド・プレイ代替であるHOPEという,異種対応のOrthogonal Prototype Expertsフレームワークを提案する。
HOPEは学習可能なプロトタイプベースのルーティングを使用して、類似性によってインスタンスを専門家に割り当て、専門家の使用が自然なロングテール分布に従うようにし、多様性を促進し、崩壊を防ぐために専門家の直交化を追加する。
4つの実際のデータセットの実験は、最小限のオーバーヘッドでSOTA HGNNバックボーン間で一貫した利得を示している。
関連論文リスト
- One Router to Route Them All: Homogeneous Expert Routing for Heterogeneous Graph Transformers [0.0]
不均一グラフ変換器(HGT)の均一なエキスパートルーティング層
我々の研究は、エキスパートルーティングにおける型依存の規則化がより一般化可能、効率的、解釈可能な表現をもたらすことを示した。
論文 参考訳(メタデータ) (2025-11-10T20:20:58Z) - Mixture of Scope Experts at Test: Generalizing Deeper Graph Neural Networks with Shallow Variants [3.475704621679017]
異種グラフはグラフニューラルネットワーク(GNN)に挑戦する
GNNは深さが増加するにつれて性能低下に悩まされる。
我々は,テストにおけるスコープエキスパートの混合(Moscat)による高表現性を維持しつつ,より深いGNN一般化を改善することを提案する。
論文 参考訳(メタデータ) (2024-09-11T04:13:39Z) - Scalable Graph Compressed Convolutions [68.85227170390864]
ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。
グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
論文 参考訳(メタデータ) (2024-07-26T03:14:13Z) - The Heterophilic Snowflake Hypothesis: Training and Empowering GNNs for Heterophilic Graphs [59.03660013787925]
ヘテロフィリー・スノーフレーク仮説を導入し、ヘテロ親和性グラフの研究をガイドし、促進するための効果的なソリューションを提供する。
観察の結果,我々のフレームワークは多種多様なタスクのための多目的演算子として機能することがわかった。
さまざまなGNNフレームワークに統合することができ、パフォーマンスを詳細に向上し、最適なネットワーク深さを選択するための説明可能なアプローチを提供する。
論文 参考訳(メタデータ) (2024-06-18T12:16:00Z) - Link Prediction with Physics-Inspired Graph Neural Networks [4.748336065254026]
我々は、ヘテロフィリーの下でのリンク予測の貴重なタスク、レコメンデーションシステム、ソーシャルネットワーク分析、その他のアプリケーションにおける興味深い問題に焦点を当てる。
GRAFF-LPは、エッジ勾配の分離を暗黙的に学習することにより、既存のエッジから存在するものを効果的に識別することを示す。
また, 単純なGNNであっても, ヘテロ親和性リンクの予測が, ホモ親和性リンクと比較して困難ではないことを示す。
論文 参考訳(メタデータ) (2024-02-22T18:56:31Z) - GraphMETRO: Mitigating Complex Graph Distribution Shifts via Mixture of Aligned Experts [75.51612253852002]
GraphMETROは、自然多様性をモデル化し、複雑な分散シフトをキャプチャするグラフニューラルネットワークアーキテクチャである。
GraphMETROはGOODベンチマークから4つのデータセットに対して最先端の結果を得る。
論文 参考訳(メタデータ) (2023-12-07T20:56:07Z) - Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。
本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文 参考訳(メタデータ) (2023-04-06T01:09:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。