論文の概要: Simplifying Hypergraph Neural Networks
- arxiv url: http://arxiv.org/abs/2402.05569v3
- Date: Wed, 22 May 2024 11:05:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 12:57:52.135488
- Title: Simplifying Hypergraph Neural Networks
- Title（参考訳）: ハイパーグラフニューラルネットワークの簡易化
- Authors: Bohan Tang, Zexi Liu, Keyue Jiang, Siheng Chen, Xiaowen Dong,
- Abstract要約: ハイパーグラフニューラルネットワーク(HNN)は、これらの構造をメッセージパッシングによって効果的に利用し、ノードの特徴を生成する。
本稿では,モデル学習段階からハイパーグラフ構造情報の利用を分離する手法を提案する。
提案するモデルである単純化ハイパーグラフニューラルネットワーク(SHNN)は、SHNNのトレーニング前にプリ計算可能な、トレーニング不要なメッセージパスブロックを含む。
- 参考スコア（独自算出の注目度）: 35.35391968349657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hypergraphs are crucial for modeling higher-order interactions in real-world data. Hypergraph neural networks (HNNs) effectively utilise these structures by message passing to generate informative node features for various downstream tasks like node classification. However, the message passing block in existing HNNs typically requires a computationally intensive training process, which limits their practical use. To tackle this challenge, we propose an alternative approach by decoupling the usage of the hypergraph structural information from the model training stage. The proposed model, simplified hypergraph neural network (SHNN), contains a training-free message-passing block that can be precomputed before the training of SHNN, thereby reducing the computational burden. We theoretically support the efficiency and effectiveness of SHNN by showing that: 1) It is more training-efficient compared to existing HNNs; 2) It utilises as much information as existing HNNs for node feature generation; and 3) It is robust against the oversmoothing issue while using long-range interactions. Experiments based on six real-world hypergraph benchmarks in node classification and hyperlink prediction present that, compared to state-of-the-art HNNs, SHNN shows both competitive performance and superior training efficiency. Specifically, on Cora-CA, SHNN achieves the highest node classification accuracy with just 2% training time of the best baseline.
- Abstract（参考訳）: ハイパーグラフは、現実世界のデータにおける高次相互作用のモデル化に不可欠である。
ハイパーグラフニューラルネットワーク(HNN)は、これらの構造をメッセージパッシングによって効果的に利用し、ノード分類のような様々な下流タスクのための情報ノード機能を生成する。
しかし、既存のHNNのメッセージパッシングブロックは通常、計算集約的なトレーニングプロセスを必要とし、実用的使用を制限する。
そこで本研究では,モデル学習段階からハイパーグラフ構造情報の利用を分離する手法を提案する。
提案したモデルである単純化ハイパーグラフニューラルネットワーク(SHNN)は、SHNNのトレーニング前にプリ計算可能な、トレーニング不要なメッセージパスブロックを含んでいるため、計算負担が軽減される。
SHNNの効率と有効性を理論的に支持する。
1)既存のHNNに比べて訓練効率が高い。
2)ノードの特徴生成に既存のHNNと同じくらいの情報を利用する。
3)長距離相互作用を用いた場合,過度にスムースな問題に対して頑健である。
ノード分類とハイパーリンク予測における6つの実世界のハイパーグラフベンチマークに基づく実験では、最先端のHNNと比較して、SHNNは競争性能と優れたトレーニング効率の両方を示している。
特にCora-CAでは、SHNNが最も高いノード分類精度を達成し、最高のベースラインのトレーニング時間は2%に過ぎなかった。
関連論文リスト
- BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。
本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-12T08:17:24Z) - CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。
Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文 参考訳（メタデータ） (2024-04-23T08:19:08Z) - Efficient Heterogeneous Graph Learning via Random Projection [65.65132884606072]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Tensorized Hypergraph Neural Networks [69.65385474777031]
我々は,新しいアジャケーシテンソルベースのtextbfTensorized textbfHypergraph textbfNeural textbfNetwork (THNN) を提案する。
THNNは高次外装機能パッシングメッセージを通じて、忠実なハイパーグラフモデリングフレームワークである。
3次元視覚オブジェクト分類のための2つの広く使われているハイパーグラフデータセットの実験結果から、モデルの有望な性能を示す。
論文 参考訳（メタデータ） (2023-06-05T03:26:06Z) - Equivariant Hypergraph Diffusion Neural Operators [81.32770440890303]
ハイパーグラフを符号化するためにニューラルネットワークを使用するハイパーグラフニューラルネットワーク(HNN)は、データの高次関係をモデル化する有望な方法を提供する。
本研究ではED-HNNと呼ばれる新しいHNNアーキテクチャを提案する。
実世界の9つのハイパーグラフデータセットのノード分類におけるED-HNNの評価を行った。
論文 参考訳（メタデータ） (2022-07-14T06:17:00Z) - Efficient and effective training of language and graph neural network
models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。
本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。
我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-06-22T00:23:37Z) - Free Hyperbolic Neural Networks with Limited Radii [32.42488915688723]
双曲型空間で直接動作する双曲型ニューラルネットワーク(HNN)は、双曲型表現の可能性をさらに活用するために最近提案されている。
HNNは、暗黙の階層構造を持つデータセット上でのユークリッドニューラルネットワーク(ENN)よりも優れたパフォーマンスを実現しているが、CIFARやImageNetのような標準分類ベンチマークでは依然としてパフォーマンスが低い。
本稿では、まず、標準認識データセットにおけるHNNの劣悪な性能が、悪名高い失効勾配問題に起因することを示す実証的研究を行う。
我々の分析は、常に双曲的埋め込みを規則化する、Feature Clippingと呼ばれるシンプルだが効果的なソリューションをもたらす。
論文 参考訳（メタデータ） (2021-07-23T22:10:16Z) - Strengthening the Training of Convolutional Neural Networks By Using
Walsh Matrix [0.0]
分類性能を向上させるため,DNNのトレーニングと構造を変更した。
畳み込みニューラルネットワーク(CNN)の最後の層に続く最小距離ネットワーク(MDN)が分類器として使用される。
異なる領域では、ノード数が少ないDivFEを使用することでより高い分類性能が得られたことが観察されている。
論文 参考訳（メタデータ） (2021-03-31T18:06:11Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。