論文の概要: DeepHGCN: Toward Deeper Hyperbolic Graph Convolutional Networks
- arxiv url: http://arxiv.org/abs/2310.02027v1
- Date: Tue, 3 Oct 2023 13:10:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 14:21:02.384810
- Title: DeepHGCN: Toward Deeper Hyperbolic Graph Convolutional Networks
- Title（参考訳）: DeepHGCN: より深いハイパーボリックグラフ畳み込みネットワークを目指して
- Authors: Jiaxu Liu, Xinping Yi, Xiaowei Huang
- Abstract要約: 双曲グラフ畳み込みネットワーク (HGCN) は階層グラフから情報を抽出する大きな可能性を証明している。
既存のHGCNは、高額な双曲演算と、深さが増加するにつれて過度にスムースな問題のために、浅いアーキテクチャに限られている。
我々は,計算効率を劇的に改善し,オーバ・スムーシング効果を大幅に緩和した,最初の深層HGCNアーキテクチャであるDeepHGCNを提案する。
- 参考スコア（独自算出の注目度）: 24.282704509891396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperbolic graph convolutional networks (HGCN) have demonstrated significant
potential in extracting information from hierarchical graphs. However, existing
HGCNs are limited to shallow architectures, due to the expensive hyperbolic
operations and the over-smoothing issue as depth increases. Although in GCNs,
treatments have been applied to alleviate over-smoothing, developing a
hyperbolic therapy presents distinct challenges since operations should be
carefully designed to fit the hyperbolic nature. Addressing the above
challenges, in this work, we propose DeepHGCN, the first deep multi-layer HGCN
architecture with dramatically improved computational efficiency and
substantially alleviated over-smoothing effect. DeepHGCN presents two key
enablers of deep HGCNs: (1) a novel hyperbolic feature transformation layer
that enables fast and accurate linear maps; and (2) Techniques such as
hyperbolic residual connections and regularization for both weights and
features facilitated by an efficient hyperbolic midpoint method. Extensive
experiments demonstrate that DeepHGCN obtains significant improvements in link
prediction and node classification tasks compared to both Euclidean and shallow
hyperbolic GCN variants.
- Abstract（参考訳）: 双曲グラフ畳み込みネットワーク (HGCN) は階層グラフから情報を抽出する大きな可能性を証明している。
しかし、既存のHGCNは、高額な双曲演算と、深さが増加するにつれて過度に平滑な問題のために、浅いアーキテクチャに限られている。
gcnsでは、過剰摂取を軽減するために治療が適用されているが、双曲療法の開発は、双曲的性質に適合するように慎重に設計されるべきであるため、明らかな課題がある。
以上の課題に対処するため,本研究では,計算効率を劇的に改善し,オーバースムーシング効果を大幅に軽減した,最初の深層HGCNアーキテクチャであるDeepHGCNを提案する。
ディープHGCNは,(1)高速かつ高精度な線形写像を実現する新しい双曲的特徴変換層,(2)双曲的残差接続や重みと特徴の正則化といった手法を,効率的な双曲的中点法により促進する。
広範囲な実験により、DeepHGCNはユークリッドと浅い双曲GCNの変種と比較してリンク予測とノード分類のタスクが大幅に改善されていることが示された。
関連論文リスト
- Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。
既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。
マニフォールド値スパイキングGNN(MSG)を提案する。
MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
論文 参考訳（メタデータ） (2024-10-23T15:09:02Z) - Binary Graph Convolutional Network with Capacity Exploration [58.99478502486377]
ネットワークパラメータと入力ノード属性の両方を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均31倍のメモリ消費を削減でき、推論速度を平均51倍に加速できる。
論文 参考訳（メタデータ） (2022-10-24T12:05:17Z) - H-GCN: A Graph Convolutional Network Accelerator on Versal ACAP
Architecture [13.149863422504332]
H-GCNはその固有の不均一性に基づいてグラフを3つの部分グラフに分割し、それぞれPLとAIEを使用して処理する。
最先端のGNNアクセラレータと比較して、H-GCNは平均して1.12.3Xのスピードアップを達成する。
論文 参考訳（メタデータ） (2022-06-28T03:37:31Z) - GROW: A Row-Stationary Sparse-Dense GEMM Accelerator for
Memory-Efficient Graph Convolutional Neural Networks [4.669338722185048]
グラフ畳み込みニューラルネットワーク(GCN)のユニークな特徴は、その2つの主要な実行ステージであるアグリゲーションと組み合わせが、大幅に異なるデータフローを示すことである。
本稿では,GustavsonのアルゴリズムをベースとしたGCNアクセラレータGROWについて述べる。
論文 参考訳（メタデータ） (2022-03-01T00:26:31Z) - GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm
and Accelerator Co-Design [27.311994997480745]
グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。
大きなグラフデータセット上でGCNを推論することは、非常に難しい。
本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-22T00:30:50Z) - Multi-scale Graph Convolutional Networks with Self-Attention [2.66512000865131]
グラフ畳み込みネットワーク(GCN)は,様々なグラフ構造データを扱うための優れた学習能力を実現している。
GCNsの重要な問題として, 過平滑化現象が解決され, 検討が続けられている。
本稿では,GCNの設計に自己認識機構とマルチスケール情報を取り入れた2つの新しいマルチスケールGCNフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-04T04:41:24Z) - ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。
複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
論文 参考訳（メタデータ） (2021-10-15T07:18:57Z) - Fully Hyperbolic Neural Networks [63.22521652077353]
ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。
提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
論文 参考訳（メタデータ） (2021-05-31T03:36:49Z) - Simple and Deep Graph Convolutional Networks [63.76221532439285]
グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。
その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。
本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
論文 参考訳（メタデータ） (2020-07-04T16:18:06Z) - DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。
非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。
本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
論文 参考訳（メタデータ） (2020-06-13T23:00:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。