論文の概要: Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions

• arxiv url: http://arxiv.org/abs/2104.01481v1
• Date: Sat, 3 Apr 2021 20:54:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 10:43:30.363540
• Title: Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions
• Title（参考訳）: 効率的なグラフ畳み込みのための適応フィルタとアグリゲータ融合
• Authors: Shyam A. Tailor, Felix L. Opolka, Pietro Li\`o, Nicholas D. Lane
• Abstract要約: 本稿では,アクセル実装に適した特性とともに,メモリ消費と遅延を低減した最先端性能を示す。 提案手法は,エッジ数に比例するメモリを必要とする競合手法とは対照的に,グラフ内の頂点数に比例するメモリを用いる。 GNNが表現力を大幅に高める技術であるアグリゲーター融合を提案し、標準のスパース行列乗算よりも19%の遅延がわずかに増加している。
• 参考スコア（独自算出の注目度）: 11.769185588579488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training and deploying graph neural networks (GNNs) remains difficult due to their high memory consumption and inference latency. In this work we present a new type of GNN architecture that achieves state-of-the-art performance with lower memory consumption and latency, along with characteristics suited to accelerator implementation. Our proposal uses memory proportional to the number of vertices in the graph, in contrast to competing methods which require memory proportional to the number of edges; we find our efficient approach actually achieves higher accuracy than competing approaches across 5 large and varied datasets against strong baselines. We achieve our results by using a novel adaptive filtering approach inspired by signal processing; it can be interpreted as enabling each vertex to have its own weight matrix, and is not related to attention. Following our focus on efficient hardware usage, we propose aggregator fusion, a technique to enable GNNs to significantly boost their representational power, with only a small increase in latency of 19% over standard sparse matrix multiplication. Code and pretrained models can be found at this URL: https://github.com/shyam196/egc.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)のトレーニングとデプロイは、高いメモリ消費と推論遅延のため、依然として困難である。 そこで本研究では,メモリ消費とレイテンシを低減した最新性能を実現するGNNアーキテクチャと,アクセラレーション実装に適した特徴について述べる。 提案手法は,エッジ数に比例するメモリを必要とする競合する手法とは対照的に,グラフ内の頂点数に比例するメモリを使用する。 我々は,信号処理に触発された新しい適応フィルタリング手法を用いて,それぞれの頂点が独自の重み行列を持つことができるように解釈し,注意力とは無関係であることを示す。 ハードウェアの効率的な利用に追従して,GNNの表現力を大幅に向上させる手法であるアグリゲータ融合を提案し,標準スパース行列乗算よりも19%のレイテンシの増加しか得られなかった。 コードと事前トレーニングされたモデルは、このURLで見ることができる。

関連論文リスト

• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• AdaptGear: Accelerating GNN Training via Adaptive Subgraph-Level Kernels on GPUs [26.607519045805745]
  グラフニューラルネットワーク(GNN)は、グラフ構造や機能から探索および学習するための強力なツールである。 先行研究では、GNNを加速するために入力グラフの空間性を探究する提案がなされており、これは全グラフレベルまたはブロックレベルの空間性フォーマットを使用している。 スパーシティのメリットとカーネルの実行効率のバランスが取れないことを示します。 本稿では,GNNのパフォーマンスを最適化する課題に対処する,AdaptGearと呼ばれる新しいシステムを提案する。
  論文  参考訳（メタデータ） (2023-05-27T08:22:12Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
  GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。 ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。 ガスは大規模グラフ上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-06-10T09:26:56Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Sparse Systolic Tensor Array for Efficient CNN Hardware Acceleration [14.958793135751149]
  モバイルデバイス上の畳み込みニューラルネットワーク(CNN)推論は、低精度(INT8)汎用行列乗算(GEMM)の効率的なハードウェアアクセラレーションを必要とする CNN推論のGEMMをさらに加速する一般的な手法であり、特に、構造的スパーシリティは予測可能な負荷分散と非常に低いインデックスオーバーヘッドの利点がある。 ハードウェアの高利用を保ちながら、さまざまな分散レベルのサポートを提供する方法について、構造的疎結合で重要なアーキテクチャ上の課題に対処する。
  論文  参考訳（メタデータ） (2020-09-04T20:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。