論文の概要: Hardware Acceleration of Sampling Algorithms in Sample and Aggregate Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2209.02916v1
• Date: Wed, 7 Sep 2022 04:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 13:05:22.209712
• Title: Hardware Acceleration of Sampling Algorithms in Sample and Aggregate Graph Neural Networks
• Title（参考訳）: サンプルおよび集約型グラフニューラルネットワークにおけるサンプリングアルゴリズムのハードウェア高速化
• Authors: Yuchen Gui, Boyi Wei, Wei Yuan and Xi Jin
• Abstract要約: 本研究では,テスト精度を確保しつつ,ハードウェアレベルで容易に高速化できる新しいサンプルサンプルであるCONCATサンプリングを提案する。 また、FPGAをベースとしたCONCAT-Sampler-acceleratorを設計し、近隣のサンプリングプロセスは300～1000倍高速化された。
• 参考スコア（独自算出の注目度）: 5.268676945046794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling is an important process in many GNN structures in order to train larger datasets with a smaller computational complexity. However, compared to other processes in GNN (such as aggregate, backward propagation), the sampling process still costs tremendous time, which limits the speed of training. To reduce the time of sampling, hardware acceleration is an ideal choice. However, state of the art GNN acceleration proposal did not specify how to accelerate the sampling process. What's more, directly accelerating traditional sampling algorithms will make the structure of the accelerator very complicated. In this work, we made two contributions: (1) Proposed a new neighbor sampler: CONCAT Sampler, which can be easily accelerated on hardware level while guaranteeing the test accuracy. (2) Designed a CONCAT-sampler-accelerator based on FPGA, with which the neighbor sampling process boosted to about 300-1000 times faster compared to the sampling process without it.
• Abstract（参考訳）: サンプリングは多くのgnn構造において重要なプロセスであり、より少ない計算量で大きなデータセットをトレーニングする。 しかし、GNNの他のプロセス(アグリゲート、後方伝播など)と比較すると、サンプリングプロセスにはまだ膨大な時間がかかるため、トレーニングの速度が制限される。 サンプリング時間を短縮するため、ハードウェアアクセラレーションは理想的な選択である。 しかし、最先端のGNNアクセラレーション提案ではサンプリングプロセスの高速化方法を明記していない。 さらに、従来のサンプリングアルゴリズムを直接加速することで、加速器の構造は非常に複雑になります。 そこで本研究では,(1) テスト精度を保証しつつ,ハードウェアレベルで容易に高速化できるconcat samplerを提案する。 2)fpgaに基づくconcat-sampler-acceleratorの設計により,隣接サンプリングプロセスは非サンプリングプロセスに比べて約300～1000倍高速化された。

関連論文リスト

• Efficient NeRF Optimization -- Not All Samples Remain Equally Hard [9.404889815088161]
  ニューラルレイディアンスフィールド(NeRF)の効率的なトレーニングのためのオンラインハードサンプルマイニングの応用を提案する。 NeRFモデルは、多くの3D再構成およびレンダリングタスクに対して最先端の品質を生み出すが、かなりの計算資源を必要とする。
  論文  参考訳（メタデータ） (2024-08-06T13:49:01Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Provably Convergent Subgraph-wise Sampling for Fast GNN Training [122.68566970275683]
  収束保証,すなわちローカルメッセージ補償(LMC)を用いた新しいサブグラフワイズサンプリング手法を提案する。 LMCは、後方パスのメッセージパスの定式化に基づいて、後方パスで破棄されたメッセージを検索する。 大規模ベンチマーク実験により、LCCは最先端のサブグラフワイドサンプリング法よりもはるかに高速であることが示された。
  論文  参考訳（メタデータ） (2023-03-17T05:16:49Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• Tackling System and Statistical Heterogeneity for Federated Learning with Adaptive Client Sampling [34.187387951367526]
  フェデレーテッド・ラーニング(FL)アルゴリズムは、参加者数が大きい場合、通常、各(部分的な参加)の割合をサンプリングする。 最近の研究はFLの収束解析に焦点を当てている。 任意のクライアントサンプリング確率を持つFLアルゴリズムの新しい収束バウンダリを得る。
  論文  参考訳（メタデータ） (2021-12-21T14:28:40Z)
• MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
  現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。 評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。 転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
  論文  参考訳（メタデータ） (2021-11-30T03:52:15Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• GNNSampler: Bridging the Gap between Sampling Algorithms of GNN and Hardware [8.15489210461058]
  GNNSamplerと呼ばれるメインストリームサンプリングアルゴリズムのための統一型プログラミングモデルを提案する。 我々は,サンプリング中の不規則なメモリアクセスを軽減するために,実世界のデータセットでノードとその隣人のデータの局所性を探索する。 提案手法は主流サンプリングアルゴリズムに普遍的であり,GNNのトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2021-08-26T04:13:52Z)
• Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
  グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。 効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。 本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-05T22:06:23Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。