論文の概要: DeepHGCN: Recipe for Efficient and Scalable Deep Hyperbolic Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2310.02027v3
• Date: Tue, 28 May 2024 20:13:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 02:11:35.647530
• Title: DeepHGCN: Recipe for Efficient and Scalable Deep Hyperbolic Graph Convolutional Networks
• Title（参考訳）: DeepHGCN: 効率的でスケーラブルなDeep Hyperbolic Graph Convolutional Networksの準備
• Authors: Jiaxu Liu, Xinping Yi, Xiaowei Huang,
• Abstract要約: 我々は,計算効率を劇的に改善し,オーバ・スムーシング効果を大幅に緩和した,最初の深層HGCNアーキテクチャであるDeepHGCNを提案する。 DeepHGCNは、ユークリッドと浅い双曲GCNの変種と比較して、リンク予測とノード分類タスクにおいて大幅に改善されている。
• 参考スコア（独自算出の注目度）: 21.605755985700615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperbolic graph convolutional networks (HGCN) have demonstrated significant potential in extracting information from hierarchical graphs. However, existing HGCNs are limited to shallow architectures, due to the expensive hyperbolic operations and the over-smoothing issue as depth increases. Although in GCNs, treatments have been applied to alleviate over-smoothing, developing a hyperbolic therapy presents distinct challenges since operations should be carefully designed to fit the hyperbolic nature. Addressing the above challenges, in this work, we propose DeepHGCN, the first deep multi-layer HGCN architecture with dramatically improved computational efficiency and substantially alleviated over-smoothing effect. DeepHGCN presents two key enablers of deep HGCNs: (1) a novel hyperbolic feature transformation layer that enables fast and accurate linear maps; and (2) techniques such as hyperbolic residual connections and regularization for both weights and features facilitated by an efficient hyperbolic midpoint method. Extensive experiments demonstrate that DeepHGCN obtains significant improvements in link prediction and node classification tasks compared to both Euclidean and shallow hyperbolic GCN variants.
• Abstract（参考訳）: 双曲グラフ畳み込みネットワーク (HGCN) は階層グラフから情報を抽出する大きな可能性を証明している。 しかし、既存のHGCNは、高額な双曲演算と、深さが増加するにつれて過度に平滑な問題のために、浅いアーキテクチャに限られている。 GCNでは、過剰なスムースメントを緩和するために治療が適用されているが、双曲療法の開発は、双曲性の性質に適合するように慎重に設計されるべきであるため、異なる課題を呈している。 以上の課題に対処するため,本研究では,計算効率を劇的に改善し,オーバースムーシング効果を大幅に軽減した,最初の深層HGCNアーキテクチャであるDeepHGCNを提案する。 ディープHGCNは,(1)高速かつ高精度な線形写像を実現する新しい双曲的特徴変換層,(2)双曲的残差接続や重みと特徴の正則化といった手法を,効率的な双曲的中点法により促進する。 広範囲な実験により、DeepHGCNはユークリッドと浅い双曲GCNの変種と比較してリンク予測とノード分類のタスクが大幅に改善されていることが示されている。

関連論文リスト

• Binary Graph Convolutional Network with Capacity Exploration [58.99478502486377]
  ネットワークパラメータと入力ノード属性の両方を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均31倍のメモリ消費を削減でき、推論速度を平均51倍に加速できる。
  論文  参考訳（メタデータ） (2022-10-24T12:05:17Z)
• Old can be Gold: Better Gradient Flow can Make Vanilla-GCNs Great Again [96.4999517230259]
  我々は,深いGCNの準標準性能を理解するために,勾配流の新しい視点を提供する。 スキップ接続を用いたバニラGCNの勾配誘導動的スイッチングを提案する。 我々の手法は、彼らのパフォーマンスを大幅に向上させ、快適に競争し、多くの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2022-10-14T21:30:25Z)
• H-GCN: A Graph Convolutional Network Accelerator on Versal ACAP Architecture [13.149863422504332]
  H-GCNはその固有の不均一性に基づいてグラフを3つの部分グラフに分割し、それぞれPLとAIEを使用して処理する。 最先端のGNNアクセラレータと比較して、H-GCNは平均して1.12.3Xのスピードアップを達成する。
  論文  参考訳（メタデータ） (2022-06-28T03:37:31Z)
• GROW: A Row-Stationary Sparse-Dense GEMM Accelerator for Memory-Efficient Graph Convolutional Neural Networks [4.669338722185048]
  グラフ畳み込みニューラルネットワーク(GCN)のユニークな特徴は、その2つの主要な実行ステージであるアグリゲーションと組み合わせが、大幅に異なるデータフローを示すことである。 本稿では,GustavsonのアルゴリズムをベースとしたGCNアクセラレータGROWについて述べる。
  論文  参考訳（メタデータ） (2022-03-01T00:26:31Z)
• GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm and Accelerator Co-Design [27.311994997480745]
  グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。 大きなグラフデータセット上でGCNを推論することは、非常に難しい。 本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-22T00:30:50Z)
• Multi-scale Graph Convolutional Networks with Self-Attention [2.66512000865131]
  グラフ畳み込みネットワーク(GCN)は,様々なグラフ構造データを扱うための優れた学習能力を実現している。 GCNsの重要な問題として, 過平滑化現象が解決され, 検討が続けられている。 本稿では,GCNの設計に自己認識機構とマルチスケール情報を取り入れた2つの新しいマルチスケールGCNフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-04T04:41:24Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• Fully Hyperbolic Neural Networks [63.22521652077353]
  ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。 提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-05-31T03:36:49Z)
• Simple and Deep Graph Convolutional Networks [63.76221532439285]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。 その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。 本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
  論文  参考訳（メタデータ） (2020-07-04T16:18:06Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。