論文の概要: LSP : Acceleration and Regularization of Graph Neural Networks via Locality Sensitive Pruning of Graphs

• arxiv url: http://arxiv.org/abs/2111.05694v1
• Date: Wed, 10 Nov 2021 14:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-11 14:04:50.111326
• Title: LSP : Acceleration and Regularization of Graph Neural Networks via Locality Sensitive Pruning of Graphs
• Title（参考訳）: LSP : グラフの局所感作によるグラフニューラルネットワークの高速化と正規化
• Authors: Eitan Kosman, Joel Oren and Dotan Di Castro
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ関連のタスクのための非常に成功したツールとして登場した。 大きなグラフは、性能を損なうことなく取り除くことができる多くの冗長なコンポーネントを含むことが多い。 そこで我々はLocality-Sensitive Hashingに基づくグラフプルーニングのためのLocality-Sensitive Pruning(LSP)という体系的手法を提案する。
• 参考スコア（独自算出の注目度）: 2.4250821950628234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have emerged as highly successful tools for graph-related tasks. However, real-world problems involve very large graphs, and the compute resources needed to fit GNNs to those problems grow rapidly. Moreover, the noisy nature and size of real-world graphs cause GNNs to over-fit if not regularized properly. Surprisingly, recent works show that large graphs often involve many redundant components that can be removed without compromising the performance too much. This includes node or edge removals during inference through GNNs layers or as a pre-processing step that sparsifies the input graph. This intriguing phenomenon enables the development of state-of-the-art GNNs that are both efficient and accurate. In this paper, we take a further step towards demystifying this phenomenon and propose a systematic method called Locality-Sensitive Pruning (LSP) for graph pruning based on Locality-Sensitive Hashing. We aim to sparsify a graph so that similar local environments of the original graph result in similar environments in the resulting sparsified graph, which is an essential feature for graph-related tasks. To justify the application of pruning based on local graph properties, we exemplify the advantage of applying pruning based on locality properties over other pruning strategies in various scenarios. Extensive experiments on synthetic and real-world datasets demonstrate the superiority of LSP, which removes a significant amount of edges from large graphs without compromising the performance, accompanied by a considerable acceleration.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、グラフ関連のタスクで非常に成功したツールとして登場した。 しかし、現実世界の問題は非常に大きなグラフを含み、これらの問題にGNNを適合させるために必要な計算資源は急速に増大する。 さらに、実世界のグラフのノイズの性質とサイズは、正規化されていない場合、GNNを過度に適合させる。 驚くべきことに、最近の研究によると、大きなグラフには多くの冗長なコンポーネントが含まれており、パフォーマンスを損なうことなく削除できる。 これには、GNNレイヤを介した推論中のノードやエッジの削除、あるいは入力グラフをスペーシングする前処理ステップが含まれる。 この興味深い現象は、効率的かつ正確な最先端のGNNの開発を可能にする。 本稿では,この現象の解明に向けてさらなる一歩を踏み出し,Locality-Sensitive Hashingに基づくグラフプルーニングのためのLocality-Sensitive Pruning (LSP) と呼ばれる体系的手法を提案する。 グラフをスパーシフィケートすることで、元のグラフの類似したローカル環境が、グラフ関連タスクに必須の機能であるスパーシフィケートグラフに類似した環境をもたらすようにする。 局所グラフ特性に基づくプルーニングの適用を正当化するため,様々なシナリオにおける他のプルーニング戦略に対する局所性特性に基づくプルーニングの適用の利点を実証する。 合成および実世界のデータセットに関する広範囲な実験により、lspは性能を損なうことなく大きなグラフからかなりの量のエッジを取り除き、相当な加速を伴う。

関連論文リスト

• Faster Inference Time for GNNs using coarsening [1.323700980948722]
  粗い手法はグラフを小さくするために使われ、計算が高速化される。 これまでの調査では、推論中にコストに対処できなかった。 本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T06:27:24Z)
• SiHGNN: Leveraging Properties of Semantic Graphs for Efficient HGNN Acceleration [9.85638913900595]
  不均一グラフニューラルネットワーク (HGNN) は、グラフ表現学習を異種グラフ場に拡張した。 近年の研究では、医療分析やレコメンデーションシステムなど、様々な応用において優れた性能を示している。 我々は,SiHGNNと呼ばれるHGNN用の軽量ハードウェアアクセラレータを提案する。このアクセラレータはツリーベースのセマンティックグラフビルダーを組み込んで,効率的なセマンティックグラフ生成を実現し,セマンティックグラフレイアウトを最適化するための新しいグラフ再構成器を備えている。
  論文  参考訳（メタデータ） (2024-08-27T14:20:21Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural Properties of Graphs [5.410321469222541]
  産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。 GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。 実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-01-06T02:59:24Z)
• Expander Graph Propagation [0.0]
  本稿では,拡張グラフ上での情報伝達に基づくエレガントなアプローチを提案する。 EGPは、セットアップに最小限の労力を要しながら、上記の懸念に対処できることを示します。 我々の分析は、GNNの過剰な監視に対処する、スケーラブルな方法の新たなクラスへの道を開くものだと信じています。
  論文  参考訳（メタデータ） (2022-10-06T15:36:37Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。