論文の概要: Enabling Accelerators for Graph Computing
- arxiv url: http://arxiv.org/abs/2312.10561v3
- Date: Mon, 24 Jun 2024 19:43:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 20:50:02.407347
- Title: Enabling Accelerators for Graph Computing
- Title（参考訳）: グラフコンピューティングのための加速器の導入
- Authors: Kaustubh Shivdikar,
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データを学ぶための新しいパラダイムを提供する。
GNNは従来のニューラルネットワークと比較して新しい計算課題を提示している。
この論文は、GNNが基盤となるハードウェアとどのように相互作用するかをよりよく理解することを目的としている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advent of Graph Neural Networks (GNNs) has revolutionized the field of machine learning, offering a novel paradigm for learning on graph-structured data. Unlike traditional neural networks, GNNs are capable of capturing complex relationships and dependencies inherent in graph data, making them particularly suited for a wide range of applications including social network analysis, molecular chemistry, and network security. GNNs, with their unique structure and operation, present new computational challenges compared to conventional neural networks. This requires comprehensive benchmarking and a thorough characterization of GNNs to obtain insight into their computational requirements and to identify potential performance bottlenecks. In this thesis, we aim to develop a better understanding of how GNNs interact with the underlying hardware and will leverage this knowledge as we design specialized accelerators and develop new optimizations, leading to more efficient and faster GNN computations. A pivotal component within GNNs is the Sparse General Matrix-Matrix Multiplication (SpGEMM) kernel, known for its computational intensity and irregular memory access patterns. In this thesis, we address the challenges posed by SpGEMM by implementing a highly optimized hashing-based SpGEMM kernel tailored for a custom accelerator. Synthesizing these insights and optimizations, we design state-of-the-art hardware accelerators capable of efficiently handling various GNN workloads. Our accelerator architectures are built on our characterization of GNN computational demands, providing clear motivation for our approaches. This exploration into novel models underlines our comprehensive approach, as we strive to enable accelerators that are not just performant, but also versatile, able to adapt to the evolving landscape of graph computing.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)の出現は機械学習の分野に革命をもたらし、グラフ構造化データを学ぶための新しいパラダイムを提供する。
従来のニューラルネットワークとは異なり、GNNはグラフデータに固有の複雑な関係や依存関係をキャプチャすることができ、特にソーシャルネットワーク分析、分子化学、ネットワークセキュリティなど幅広いアプリケーションに適している。
GNNは独自の構造と操作を持ち、従来のニューラルネットワークと比較して新しい計算課題を提示している。
このためには、GNNの総合的なベンチマークと詳細な特徴付けが必要であり、その計算要求に関する洞察を得て、潜在的なパフォーマンスボトルネックを特定する必要がある。
この論文では、GNNが基盤となるハードウェアとどのように相互作用するかをよりよく理解し、特別なアクセラレータを設計し、新しい最適化を開発することで、より効率的で高速なGNN計算を実現することを目的としている。
GNNにおける重要なコンポーネントはスパース・ジェネラル・マトリックス・マルチプリケーション(SpGEMM)カーネルであり、計算強度と不規則なメモリアクセスパターンで知られている。
本稿では,SpGEMMがもたらす課題を,カスタムアクセラレータに適した高度に最適化されたハッシュベースのSpGEMMカーネルを実装することで解決する。
これらの洞察と最適化を合成し、さまざまなGNNワークロードを効率的に処理できる最先端のハードウェアアクセラレータを設計する。
我々のアクセラレーターアーキテクチャは、GNNの計算要求のキャラクタリゼーションに基づいて構築されており、我々のアプローチに明確な動機を与えています。
この新しいモデルに対する探索は、単にパフォーマンスだけでなく、汎用性も備え、グラフコンピューティングの進化する状況に適応できるアクセラレーターを可能にするために、我々の包括的なアプローチの基盤となる。
関連論文リスト
- LinkSAGE: Optimizing Job Matching Using Graph Neural Networks [12.088731514483104]
本稿では、グラフニューラルネットワーク(GNN)を大規模パーソナライズされたジョブマッチングシステムに統合する革新的なフレームワークであるLinkSAGEを紹介する。
当社のアプローチは、数十億のノードとエッジを持つ、業界最大の、そして最も複雑な、新しい求人市場グラフに乗じています。
LinkSAGEの重要なイノベーションは、そのトレーニングと提供の方法論である。これは、不均一で進化するグラフ上の帰納的グラフ学習とエンコーダ-デコーダGNNモデルとを効果的に組み合わせている。
論文 参考訳（メタデータ） (2024-02-20T23:49:25Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - GNN at the Edge: Cost-Efficient Graph Neural Network Processing over
Distributed Edge Servers [24.109721494781592]
グラフニューラルネットワーク(GNN)はまだ探索中であり、その広範な採用に対する大きな違いを示している。
本稿では,多層ヘテロジニアスエッジネットワーク上での分散GNN処理のコスト最適化について検討する。
提案手法は, 高速収束速度で95.8%以上のコスト削減を行い, デファクトベースラインよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2022-10-31T13:03:16Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Bottleneck Analysis of Dynamic Graph Neural Network Inference on CPU and
GPU [3.4214598355901638]
動的グラフニューラルネットワーク(DGNN)は、現実世界の動的特徴のキャプチャに広く利用されているため、ますます人気が高まっている。
DGNNをハードウェアにデプロイすることは、モデルの複雑さ、多様性、時間依存性の性質など、さらなる課題を提起する。
我々は、異なる特性を持つ8つの一般的なDGNNを選択し、それらをCPUとGPUの両方でプロファイルする。
論文 参考訳（メタデータ） (2022-10-08T03:41:50Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - IGNNITION: Bridging the Gap Between Graph Neural Networks and Networking
Systems [4.1591055164123665]
本稿では,ネットワークシステムのためのグラフニューラルネットワーク(GNN)の高速プロトタイピングを可能にする,新しいオープンソースフレームワークIGNNITIONを提案する。
IGNNITIONは、GNNの背後にある複雑さを隠す直感的な高レベルの抽象化に基づいている。
IGNNITIONが生成するGNNモデルは,ネイティブ実装の精度と性能の点で同等であることを示す。
論文 参考訳（メタデータ） (2021-09-14T14:28:21Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。
グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。
私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
論文 参考訳（メタデータ） (2020-12-20T04:20:38Z) - Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。
我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
論文 参考訳（メタデータ） (2020-10-06T01:20:27Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。