論文の概要: SUREL+: Moving from Walks to Sets for Scalable Subgraph-based Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2303.03379v1
• Date: Mon, 6 Mar 2023 18:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 14:42:50.472584
• Title: SUREL+: Moving from Walks to Sets for Scalable Subgraph-based Graph Representation Learning
• Title（参考訳）: SUREL+:スケーラブルなグラフ表現学習のためのウォークからセットへの移行
• Authors: Haoteng Yin, Muhan Zhang, Jianguo Wang, Pan Li
• Abstract要約: グラフ上の多くの予測タスクにおいて,グラフ表現学習(SGRL)が強力なツールとして登場した。 SURELはSGRLを加速する新しいフレームワークとして提案されており、ランダムウォークをオフラインでサンプリングし、これらのウォークをオンラインで予測するためのサブグラフとして結合する。 本稿では,SUREL+の更新を行う新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.879953181480868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Subgraph-based graph representation learning (SGRL) has recently emerged as a powerful tool in many prediction tasks on graphs due to its advantages in model expressiveness and generalization ability. Most previous SGRL models face computational issues associated with the high cost of extracting subgraphs for each training or testing query. Recently, SUREL has been proposed as a new framework to accelerate SGRL, which samples random walks offline and joins these walks as subgraphs online for prediction. Due to the reusability of sampled walks across different queries, SUREL achieves state-of-the-art performance in both scalability and prediction accuracy. However, SUREL still suffers from high computational overhead caused by node redundancy in sampled walks. In this work, we propose a novel framework SUREL+ that upgrades SUREL by using node sets instead of walks to represent subgraphs. This set-based representation avoids node duplication by definition, but the sizes of node sets can be irregular. To address this issue, we design a dedicated sparse data structure to efficiently store and fast index node sets, and provide a specialized operator to join them in parallel batches. SUREL+ is modularized to support multiple types of set samplers, structural features, and neural encoders to complement the loss of structural information due to the reduction from walks to sets. Extensive experiments have been performed to validate SUREL+ in the prediction tasks of links, relation types, and higher-order patterns. SUREL+ achieves 3-11$\times$ speedups of SUREL while maintaining comparable or even better prediction performance; compared to other SGRL baselines, SUREL+ achieves $\sim$20$\times$ speedups and significantly improves the prediction accuracy.
• Abstract（参考訳）: グラフを用いたグラフ表現学習(SGRL)は、モデル表現性と一般化能力の優位性から、最近、グラフ上の多くの予測タスクにおいて強力なツールとして登場した。 従来のsgrlモデルは、トレーニングやテストクエリごとにサブグラフを抽出するコストが高いという計算問題に直面している。 最近、sllは、ランダムウォークをオフラインでサンプリングし、これらのウォークをオンラインのサブグラフとして予測するsgrlを加速する新しいフレームワークとして提案されている。 異なるクエリにわたるサンプルウォークの再利用性のため、SURELはスケーラビリティと予測精度の両方で最先端のパフォーマンスを達成する。 しかし、SURELは、サンプリングされたウォークにおけるノードの冗長性に起因する高い計算オーバーヘッドに悩まされている。 本研究では,ウォークの代わりにノードセットを用いてSURELをアップグレードし,サブグラフを表現する新しいフレームワークSUREL+を提案する。 このセットベースの表現は定義によるノード重複を避けるが、ノードセットのサイズは不規則である。 この問題に対処するため,我々は,インデックスノードを効率的に格納・高速化するために,専用のスパースデータ構造を設計し,並列バッチでそれらを結合する特別な演算子を提供する。 SUREL+は、複数のタイプのセットサンプリング、構造的特徴、ニューラルエンコーダをサポートし、ウォークからセットへの減少による構造情報の損失を補完するようにモジュール化されている。 リンク,関係型,高次パターンの予測タスクにおいて,SUREL+を検証するための大規模な実験が行われた。 SUREL+は他のSGRLベースラインと比較して、SUREL+は$\sim$20$\times$スピードアップを達成し、予測精度を大幅に改善している。

関連論文リスト

• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Sparsity exploitation via discovering graphical models in multi-variate time-series forecasting [1.2762298148425795]
  本稿では,グラフ生成モジュールとGNN予測モジュールを含む分離学習手法を提案する。 まず、Graphical Lasso(またはGraphLASSO)を使用して、データから空間パターンを直接利用してグラフ構造を構築します。 次に、これらのグラフ構造と入力データをGCRN(Graph Convolutional Recurrent Network)に適合させて予測モデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-06-29T16:48:00Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• From Spectral Graph Convolutions to Large Scale Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は、様々なタスクにうまく適用された強力な概念であることが示されている。 古典グラフ理論の関連部分を含むGCNの定義への道を開いた理論を考察する。
  論文  参考訳（メタデータ） (2022-07-12T16:57:08Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Algorithm and System Co-design for Efficient Subgraph-based Graph Representation Learning [16.170895692951]
  グラフ表現学習(SGRL)は、最近、標準グラフニューラルネットワーク(GNN)が直面するいくつかの根本的な課題に対処するために提案されている。 本稿では,学習アルゴリズムとそのシステムサポートを共同設計し,スケーラブルなSGRLのための新しいフレームワークSURELを提案する。
  論文  参考訳（メタデータ） (2022-02-28T04:29:22Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Stochastic Graph Recurrent Neural Network [6.656993023468793]
  本稿では,ノード属性とトポロジの進化を同時に捉えるために潜時変数を適用した新しいニューラルアーキテクチャであるSGRNNを提案する。 具体的には、決定論的状態は、相互干渉を抑制する反復過程において状態から分離される。 実世界のデータセットを用いた実験により,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2020-09-01T16:14:30Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。