論文の概要: Ramanujan Bipartite Graph Products for Efficient Block Sparse Neural Networks

• arxiv url: http://arxiv.org/abs/2006.13486v2
• Date: Thu, 2 Jul 2020 12:22:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:49:06.907138
• Title: Ramanujan Bipartite Graph Products for Efficient Block Sparse Neural Networks
• Title（参考訳）: 効率的なブロックスパースニューラルネットワークのためのラマヌジャン二部グラフ製品
• Authors: Dharma Teja Vooturi, Girish Varma, Kishore Kothapalli
• Abstract要約: 本稿では,グラフ積の理論を用いて,構造化マルチレベルブロックスパースニューラルネットワークを生成するフレームワークを提案する。 ラマヌジャングラフの積も提案するが、これは与えられた範囲で最高の接続性を与える。 我々は,VGG19とWideResnet-40-4ネットワークを用いて,CIFARデータセット上の画像分類タスクを実験することで,我々のアプローチをベンチマークする。
• 参考スコア（独自算出の注目度）: 2.4235475271758076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse neural networks are shown to give accurate predictions competitive to denser versions, while also minimizing the number of arithmetic operations performed. However current hardware like GPU's can only exploit structured sparsity patterns for better efficiency. Hence the run time of a sparse neural network may not correspond to the arithmetic operations required. In this work, we propose RBGP( Ramanujan Bipartite Graph Product) framework for generating structured multi level block sparse neural networks by using the theory of Graph products. We also propose to use products of Ramanujan graphs which gives the best connectivity for a given level of sparsity. This essentially ensures that the i.) the networks has the structured block sparsity for which runtime efficient algorithms exists ii.) the model gives high prediction accuracy, due to the better expressive power derived from the connectivity of the graph iii.) the graph data structure has a succinct representation that can be stored efficiently in memory. We use our framework to design a specific connectivity pattern called RBGP4 which makes efficient use of the memory hierarchy available on GPU. We benchmark our approach by experimenting on image classification task over CIFAR dataset using VGG19 and WideResnet-40-4 networks and achieve 5-9x and 2-5x runtime gains over unstructured and block sparsity patterns respectively, while achieving the same level of accuracy.
• Abstract（参考訳）: スパースニューラルネットワークは、より高密度なバージョンと競合する正確な予測を与えるとともに、実行された算術演算数を最小化する。 しかし、GPUのような現在のハードウェアは、より効率良く構造化されたスパーシティパターンしか利用できない。 したがって、スパースニューラルネットワークの実行時間は、必要な演算処理に対応しない可能性がある。 本研究では,階層型マルチレベルブロックスパースニューラルネットワークをグラフ積の理論を用いて生成するRBGP(Ramanujan Bipartite Graph Product)フレームワークを提案する。 ラマヌジャングラフの積も提案するが、これは与えられた範囲で最高の接続性を与える。 これは本質的に i を保証します。 ) ネットワークは、実行時効率のよいアルゴリズムが存在する構造化ブロックスパーシティを持つ。 ) このモデルは, グラフiiiの接続性に起因する表現力の向上により, 予測精度が向上する。 ) グラフデータ構造は、メモリに効率的に格納できる簡潔な表現を有する。 このフレームワークを使用してrbgp4と呼ばれる特定の接続パターンを設計し、gpuで利用可能なメモリ階層を効率的に利用します。 我々は、VGG19とWideResnet-40-4ネットワークを用いて、CIFARデータセット上の画像分類タスクを実験し、非構造パターンとブロック間隔パターンに対して、それぞれ5-9xと2-5xのランタイムゲインを達成するとともに、同じレベルの精度を実現した。

関連論文リスト

• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Hector: An Efficient Programming and Compilation Framework for Implementing Relational Graph Neural Networks in GPU Architectures [24.841128441671234]
  RGNNは、異種グラフ内の異なるタイプのノードとエッジをモデリングするための専用の構造を持つグラフニューラルネットワークである。 本稿では,新しい2レベル中間表現とコード生成フレームワークであるHectorを提案し,RGNNモデルの鍵となる特性を捉える。 Hectorは、最先端のパブリックシステムと比較して、推論で最大9.9倍、トレーニングで最大43.7倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2023-01-16T06:53:18Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Generalizable Cross-Graph Embedding for GNN-based Congestion Prediction [22.974348682859322]
  我々は,ノード機能の品質を高めるために,与えられたネットリストの埋め込みを直接学習できるフレームワークを提案する。 ネットリスト上に学習した埋め込みとGNNを組み合わせることで、予測性能を改善し、新しい回路ラインに一般化し、トレーニングの効率化を実現し、実行時に90 %以上節約できる可能性がある。
  論文  参考訳（メタデータ） (2021-11-10T20:56:29Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。