論文の概要: HyPE-GT: where Graph Transformers meet Hyperbolic Positional Encodings

• arxiv url: http://arxiv.org/abs/2312.06576v1
• Date: Mon, 11 Dec 2023 18:00:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 14:45:32.026987
• Title: HyPE-GT: where Graph Transformers meet Hyperbolic Positional Encodings
• Title（参考訳）: HyPE-GT: グラフトランスフォーマーが双曲的位置エンコーディングに適合する
• Authors: Kushal Bose and Swagatam Das
• Abstract要約: 学習可能な位置エンコーディングをトランスフォーマーに導入する,革新的で効率的なフレームワークを提案する。 このアプローチにより、特定の下流タスクに対して最適なPE選択のための多様な選択肢を探索することが可能になる。 深部グラフニューラルネットワーク(GNN)における過平滑化の影響を軽減するため、これらの位置符号化を再利用する。
• 参考スコア（独自算出の注目度）: 19.78896931593813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Transformers (GTs) facilitate the comprehension of graph-structured data by calculating the self-attention of node pairs without considering node position information. To address this limitation, we introduce an innovative and efficient framework that introduces Positional Encodings (PEs) into the Transformer, generating a set of learnable positional encodings in the hyperbolic space, a non-Euclidean domain. This approach empowers us to explore diverse options for optimal selection of PEs for specific downstream tasks, leveraging hyperbolic neural networks or hyperbolic graph convolutional networks. Additionally, we repurpose these positional encodings to mitigate the impact of over-smoothing in deep Graph Neural Networks (GNNs). Comprehensive experiments on molecular benchmark datasets, co-author, and co-purchase networks substantiate the effectiveness of hyperbolic positional encodings in enhancing the performance of deep GNNs.
• Abstract（参考訳）: グラフトランスフォーマ(gts)は,ノード位置情報を考慮せずにノード対の自己一致を計算することにより,グラフ構造データの理解を容易にする。 この制限に対処するために、トランスフォーマーに位置エンコーディング(PE)を導入し、非ユークリッド領域である双曲空間における学習可能な位置エンコーディングのセットを生成する、革新的で効率的なフレームワークを導入する。 このアプローチは、双曲型ニューラルネットワークや双曲型グラフ畳み込みネットワークを利用して、特定の下流タスクのためのPEの最適選択のための多様な選択肢を探索することを可能にする。 さらに,深部グラフニューラルネットワーク(GNN)における過平滑化の影響を軽減するために,これらの位置符号化を再利用する。 分子ベンチマークデータセット、共著者および共購入ネットワークに関する総合的な実験は、深いGNNの性能向上における双曲的位置エンコーディングの有効性を裏付けるものである。

関連論文リスト

• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Binary Graph Convolutional Network with Capacity Exploration [58.99478502486377]
  ネットワークパラメータと入力ノード属性の両方を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均31倍のメモリ消費を削減でき、推論速度を平均51倍に加速できる。
  論文  参考訳（メタデータ） (2022-10-24T12:05:17Z)
• Graph Neural Network Based Node Deployment for Throughput Enhancement [20.56966053013759]
  本稿では,ネットワークノード配置問題に対する新しいグラフニューラルネットワーク(GNN)手法を提案する。 提案手法の理論的サポートとして,表現型GNNが関数値とトラフィック置換の両方を近似する能力を持つことを示す。
  論文  参考訳（メタデータ） (2022-08-19T08:06:28Z)
• Rewiring with Positional Encodings for Graph Neural Networks [37.394229290996364]
  いくつかの最近の研究は、注意機構を備えたグラフニューラルネットワーク層の受容場を拡張するために位置符号化を使用している。 位置エンコーディングを用いて、受容場を$r$ホップ地区に拡張する。 各種モデルやデータセットの改良や,従来のGNNやグラフトランスフォーマーによる競争性能の向上を実現しています。
  論文  参考訳（メタデータ） (2022-01-29T22:26:02Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• Graph Attention Networks with Positional Embeddings [7.552100672006174]
  グラフニューラルネットワーク(GNN)は、ノード分類タスクにおける芸術的パフォーマンスの現在の状態を提供するディープラーニング手法である。 本論文では,GATを位置埋め込みで強化するフレームワークであるG Graph Attentional Networks with Positional Embeddings(GAT-POS)を提案する。 GAT-POSは、強いGNNベースラインや、非ホモフィルグラフ上の最近の構造埋め込み強化GNNと比較して著しく改善されている。
  論文  参考訳（メタデータ） (2021-05-09T22:13:46Z)
• A Deep Graph Wavelet Convolutional Neural Network for Semi-supervised Node Classification [11.959997989844043]
  グラフ畳み込みニューラルネットワークは、非ユークリッドデータによるノード分類やその他のタスクに優れたソリューションを提供します。 半教師付きノード分類タスクのための新しいディープグラフウェーブレット畳み込みネットワーク(DeepGWC)を提案する。
  論文  参考訳（メタデータ） (2021-02-19T07:57:28Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks [183.97265247061847]
  我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。 GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。 また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
  論文  参考訳（メタデータ） (2020-03-08T13:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。