論文の概要: Slice-and-Forge: Making Better Use of Caches for Graph Convolutional Network Accelerators

• arxiv url: http://arxiv.org/abs/2301.09813v1
• Date: Tue, 24 Jan 2023 04:43:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 14:29:58.076691
• Title: Slice-and-Forge: Making Better Use of Caches for Graph Convolutional Network Accelerators
• Title（参考訳）: Slice-and-Forge: グラフ畳み込みネットワークアクセラレータのキャッシュ利用の改善
• Authors: Mingi Yoo, Jaeyong Song, Hyeyoon Lee, Jounghoo Lee, Namhyung Kim, Youngsok Kim, Jinho Lee
• Abstract要約: グラフ畳み込みネットワーク(GCN)は、さまざまなデータフォーマットを処理できるため、ますます人気が高まっている。 GCNのためのハードウェアアクセラレータを設計する上で重要な課題のひとつは、データアクセスパターンの巨大なサイズとランダム性である。 本稿では,GCNのハードウェアアクセラレータであるSlice-and-Forge(SnF)を提案する。
• 参考スコア（独自算出の注目度）: 6.582242235154822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph convolutional networks (GCNs) are becoming increasingly popular as they can process a wide variety of data formats that prior deep neural networks cannot easily support. One key challenge in designing hardware accelerators for GCNs is the vast size and randomness in their data access patterns which greatly reduces the effectiveness of the limited on-chip cache. Aimed at improving the effectiveness of the cache by mitigating the irregular data accesses, prior studies often employ the vertex tiling techniques used in traditional graph processing applications. While being effective at enhancing the cache efficiency, those approaches are often sensitive to the tiling configurations where the optimal setting heavily depends on target input datasets. Furthermore, the existing solutions require manual tuning through trial-and-error or rely on sub-optimal analytical models. In this paper, we propose Slice-and-Forge (SnF), an efficient hardware accelerator for GCNs which greatly improves the effectiveness of the limited on-chip cache. SnF chooses a tiling strategy named feature slicing that splits the features into vertical slices and processes them in the outermost loop of the execution. This particular choice results in a repetition of the identical computational patterns over irregular graph data over multiple rounds. Taking advantage of such repetitions, SnF dynamically tunes its tile size. Our experimental results reveal that SnF can achieve 1.73x higher performance in geomean compared to prior work on multi-engine settings, and 1.46x higher performance in geomean on small scale settings, without the need for off-line analyses.
• Abstract（参考訳）: グラフ畳み込みネットワーク(graph convolutional network, gcns)は、従来のディープニューラルネットワークではサポートできないさまざまなデータフォーマットを処理できるため、ますます人気が高まっている。 GCNのためのハードウェアアクセラレータを設計する上で重要な課題のひとつは、データアクセスパターンの巨大なサイズとランダムさであり、オンチップキャッシュの制限された効率を大幅に低下させる。 不規則なデータアクセスを緩和することでキャッシュの有効性を向上させることを目的とした先行研究では、従来のグラフ処理アプリケーションで使用される頂点タイリング技術を用いることが多い。 キャッシュ効率を向上させるのに効果的であるが、これらのアプローチは、最適な設定がターゲットの入力データセットに大きく依存するタイリング構成に敏感であることが多い。 さらに、既存のソリューションでは、試行錯誤による手動チューニング、あるいは準最適解析モデルに依存する必要がある。 本稿では,gcns用の効率的なハードウェアアクセラレータであるslice-and-forge(snf)を提案する。 SnFは機能スライシングと呼ばれるタイリング戦略を選択し、機能を垂直スライスに分割し、実行の最外ループで処理する。 この選択により、複数のラウンドで不規則なグラフデータに対して同じ計算パターンが繰り返される。 このような繰り返しを利用して、SnFはそのタイルサイズを動的に調整する。 実験結果から,snfは,マルチエンジン設定の以前の作業と比較して,ジオメアンで1.73倍,小規模設定で1.46倍の性能を,オフライン解析を必要とせずに達成できることがわかった。

関連論文リスト

• Slicing Input Features to Accelerate Deep Learning: A Case Study with Graph Neural Networks [0.24578723416255746]
  本稿では,機能スライスされた大規模グラフ学習手法であるSliceGCNを紹介する。 これは、ミニバッチトレーニングに典型的な精度損失を回避し、GPU間通信を減らすことを目的としている。 6つのノード分類データセットで実験を行い、興味深い分析結果を得た。
  論文  参考訳（メタデータ） (2024-08-21T10:18:41Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
  グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。 SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。 利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
  論文  参考訳（メタデータ） (2022-07-19T10:32:11Z)
• HANT: Hardware-Aware Network Transformation [82.54824188745887]
  ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。 HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。 EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
  論文  参考訳（メタデータ） (2021-07-12T18:46:34Z)
• Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions [11.769185588579488]
  本稿では,アクセル実装に適した特性とともに,メモリ消費と遅延を低減した最先端性能を示す。 提案手法は,エッジ数に比例するメモリを必要とする競合手法とは対照的に,グラフ内の頂点数に比例するメモリを用いる。 GNNが表現力を大幅に高める技術であるアグリゲーター融合を提案し、標準のスパース行列乗算よりも19%の遅延がわずかに増加している。
  論文  参考訳（メタデータ） (2021-04-03T20:54:36Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。