論文の概要: HyperAggregation: Aggregating over Graph Edges with Hypernetworks
- arxiv url: http://arxiv.org/abs/2407.11596v1
- Date: Tue, 16 Jul 2024 10:52:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 15:23:07.433714
- Title: HyperAggregation: Aggregating over Graph Edges with Hypernetworks
- Title(参考訳): HyperAggregation: Hypernetworksによるグラフエッジ上のアグリゲーション
- Authors: Nicolas Lell, Ansgar Scherp,
- Abstract要約: HyperAggregationは、グラフニューラルネットワークのためのハイパーネットワークベースの集約機能である。
これは、誘導的およびトランスダクティブな設定の両方において、ホモ親和性およびヘテロ親和性データセットに効果的に使用できる。
- 参考スコア(独自算出の注目度): 3.3916160303055563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: HyperAggregation is a hypernetwork-based aggregation function for Graph Neural Networks. It uses a hypernetwork to dynamically generate weights in the size of the current neighborhood, which are then used to aggregate this neighborhood. This aggregation with the generated weights is done like an MLP-Mixer channel mixing over variable-sized vertex neighborhoods. We demonstrate HyperAggregation in two models, GraphHyperMixer is a model based on MLP-Mixer while GraphHyperConv is derived from a GCN but with a hypernetwork-based aggregation function. We perform experiments on diverse benchmark datasets for the vertex classification, graph classification, and graph regression tasks. The results show that HyperAggregation can be effectively used for homophilic and heterophilic datasets in both inductive and transductive settings. GraphHyperConv performs better than GraphHyperMixer and is especially strong in the transductive setting. On the heterophilic dataset Roman-Empire it reaches a new state of the art. On the graph-level tasks our models perform in line with similarly sized models. Ablation studies investigate the robustness against various hyperparameter choices. The implementation of HyperAggregation as well code to reproduce all experiments is available under https://github.com/Foisunt/HyperAggregation .
- Abstract(参考訳): HyperAggregationは、グラフニューラルネットワークのためのハイパーネットワークベースの集約機能である。
ハイパーネットワークを使って現在の近所の大きさの重みを動的に生成し、そこからこの近所を集約する。
この重み付きアグリゲーションは、可変サイズの頂点近傍を混合するMLP-Mixerチャネルのように行われる。
GraphHyperMixerはMLP-Mixerに基づくモデルであり、GraphHyperConvはGCNから派生しているが、ハイパーネットワークベースのアグリゲーション機能を持つ。
我々は、頂点分類、グラフ分類、グラフ回帰タスクのための多様なベンチマークデータセットの実験を行う。
その結果、ハイパーアグリゲーションは、誘導的およびトランスダクティブな設定の両方において、ホモ親和性およびヘテロ親和性のあるデータセットに有効に使用できることが示された。
GraphHyperConvはGraphHyperMixerよりもパフォーマンスが良く、特にトランスダクティブ設定では強い。
ヘテロ親善的なデータセットであるRoman-Empireでは、新しい最先端に到達している。
グラフレベルのタスクでは、モデルも同様の大きさのモデルと一致して実行されます。
アブレーション研究は、様々なハイパーパラメータ選択に対するロバスト性を研究する。
HyperAggregationの実装と、すべての実験を再現するためのコードについては、https://github.com/Foisunt/HyperAggregation.comで公開されている。
関連論文リスト
- Hypergraph Transformer for Semi-Supervised Classification [50.92027313775934]
我々は新しいハイパーグラフ学習フレームワークHyperGraph Transformer(HyperGT)を提案する。
HyperGTはTransformerベースのニューラルネットワークアーキテクチャを使用して、すべてのノードとハイパーエッジのグローバル相関を効果的に検討する。
局所接続パターンを保ちながら、グローバルな相互作用を効果的に組み込むことで、包括的なハイパーグラフ表現学習を実現する。
論文 参考訳(メタデータ) (2023-12-18T17:50:52Z) - Self-Supervised Pretraining for Heterogeneous Hypergraph Neural Networks [9.987252149421982]
異種HyperGNNのための自己教師型事前学習フレームワークを提案する。
本手法は,データ内のエンティティ間の高次関係を,自己教師型で効果的に捉えることができる。
実験の結果,提案するフレームワークは,様々なダウンストリームタスクにおいて,最先端のベースラインを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2023-11-19T16:34:56Z) - Joint Entity and Relation Extraction with Span Pruning and Hypergraph
Neural Networks [58.43972540643903]
PLマーカ(最先端マーカーベースピプレリンモデル)上に構築されたEREのためのHyperGraphニューラルネットワーク(hgnn$)を提案する。
エラーの伝播を軽減するため,NERモジュールからのエンティティ識別とラベル付けの負担をモデルのジョイントモジュールに転送するために,ハイリコールプルーナー機構を用いる。
EREタスクに広く使用されている3つのベンチマークの実験は、以前の最先端のPLマーカーよりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-10-26T08:36:39Z) - Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。
本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文 参考訳(メタデータ) (2023-04-06T01:09:36Z) - G-Mixup: Graph Data Augmentation for Graph Classification [55.63157775049443]
Mixupは、2つのランダムサンプル間の特徴とラベルを補間することにより、ニューラルネットワークの一般化とロバスト性を改善する上で優位性を示している。
グラフ分類のためのグラフを増補するために$mathcalG$-Mixupを提案し、グラフの異なるクラスのジェネレータ(すなわちグラフ)を補間する。
実験により、$mathcalG$-MixupはGNNの一般化とロバスト性を大幅に改善することが示された。
論文 参考訳(メタデータ) (2022-02-15T04:09:44Z) - ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。
複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
論文 参考訳(メタデータ) (2021-10-15T07:18:57Z) - Adaptive Neural Message Passing for Inductive Learning on Hypergraphs [21.606287447052757]
本稿では,新しいハイパーグラフ学習フレームワークHyperMSGを紹介する。
各ノードの次数集中度に関連する注意重みを学習することで、データとタスクに適応する。
堅牢で、幅広いタスクやデータセットで最先端のハイパーグラフ学習手法より優れています。
論文 参考訳(メタデータ) (2021-09-22T12:24:02Z) - Graph Classification by Mixture of Diverse Experts [67.33716357951235]
我々は,不均衡なグラフ分類に多様な専門家の混在を利用したフレームワークであるGraphDIVEを提案する。
GraphDIVEは、分割と並列の原則により、不均衡なグラフデータセットを複数のサブセットに分割するゲーティングネットワークを採用しています。
実世界の不均衡グラフデータセットに関する実験は、GraphDIVEの有効性を示している。
論文 参考訳(メタデータ) (2021-03-29T14:03:03Z) - HyperSAGE: Generalizing Inductive Representation Learning on Hypergraphs [24.737560790401314]
2段階のニューラルメッセージパッシング戦略を用いて、ハイパーグラフを介して情報を正確かつ効率的に伝播する新しいハイパーグラフ学習フレームワークHyperSAGEを提案する。
本稿では,HyperSAGEが代表的ベンチマークデータセット上で最先端のハイパーグラフ学習手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-10-09T13:28:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。