論文の概要: Make Inference Faster: Efficient GPU Memory Management for Butterfly Sparse Matrix Multiplication

• arxiv url: http://arxiv.org/abs/2405.15013v1
• Date: Thu, 23 May 2024 19:36:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 19:17:31.699445
• Title: Make Inference Faster: Efficient GPU Memory Management for Butterfly Sparse Matrix Multiplication
• Title（参考訳）: 推論の高速化:バタフライスパース行列乗算のための効率的なGPUメモリ管理
• Authors: Antoine Gonon, Léon Zheng, Pascal Carrivain, Quoc-Tung Le,
• Abstract要約: 本稿では,バタフライ構造のためのGPU上の既存のスパース行列乗算アルゴリズムの状態を初めて評価する。 新しいカーネルを導入することで、これらのメモリ操作を最適化できることが示される。 また、新しいカーネルがニューラルネットワークの推論をいかに高速化できるかを示すことで、結果のより広範な重要性を示す。
• 参考スコア（独自算出の注目度）: 4.387337528923525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is the first to assess the state of existing sparse matrix multiplication algorithms on GPU for the butterfly structure, a promising form of sparsity. This is achieved through a comprehensive benchmark that can be easily modified to add a new implementation. The goal is to provide a simple tool for users to select the optimal implementation based on their settings. Using this benchmark, we find that existing implementations spend up to 50% of their total runtime on memory rewriting operations. We show that these memory operations can be optimized by introducing a new CUDA kernel that minimizes the transfers between the different levels of GPU memory, achieving a median speed-up factor of x1.4 while also reducing energy consumption (median of x0.85). We also demonstrate the broader significance of our results by showing how the new kernel can speed up the inference of neural networks.
• Abstract（参考訳）: 本稿では,バタフライ構造のためのGPU上での既存のスパース行列乗算アルゴリズムの状態を初めて評価した。 これは、新しい実装を追加するために簡単に修正できる包括的なベンチマークによって達成される。 目標は、ユーザが自分の設定に基づいて最適な実装を選択するためのシンプルなツールを提供することだ。 このベンチマークにより、既存の実装はメモリ書き換え操作に実行時の最大50%を費やしていることがわかった。 これらのメモリ操作は、GPUメモリの異なるレベル間の転送を最小限に抑える新しいCUDAカーネルを導入し、x1.4の中央値のスピードアップ係数を達成し、エネルギー消費量(x0.85の中間値)を減らすことで最適化可能であることを示す。 また、新しいカーネルがニューラルネットワークの推論をいかに高速化できるかを示すことで、結果のより広範な重要性を示す。

関連論文リスト

• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Im2win: An Efficient Convolution Paradigm on GPU [1.9162301033784574]
  本稿では、メモリフットプリントの削減だけでなく、連続的なメモリアクセスを提供するim2winと呼ばれる畳み込みベースの畳み込みに関するパラダイムを提案する。 直接畳み込みと、PyTorchのGEMMベースの畳み込みと、DNNベースの畳み込み実装の6ドルを、12の最先端ベンチマークで比較する。
  論文  参考訳（メタデータ） (2023-06-25T19:09:56Z)
• HEAT: A Highly Efficient and Affordable Training System for Collaborative Filtering Based Recommendation on CPUs [11.007606356081435]
  協調フィルタリング(CF)は推奨のための最も効果的な手法の1つであることが証明されている。 マルチコアCPUにSimpleXを最適化する作業はなく、パフォーマンスが制限されている。 本稿では,現代CPUのマルチレベルキャッシュとマルチスレッド機能を完全に実現した効率的なCFトレーニングシステム(HEAT)を提案する。
  論文  参考訳（メタデータ） (2023-04-14T18:07:26Z)
• Pex: Memory-efficient Microcontroller Deep Learning through Partial Execution [11.336229510791481]
  マイクロコントローラ深層学習のための新しい実行パラダイムについて論じる。 ニューラルネットワークの実行を変更して、メモリの完全なバッファーを作らないようにする。 これは演算子のプロパティを利用することで実現され、一度にインプット/アウトプットのごく一部を消費/生産することができる。
  論文  参考訳（メタデータ） (2022-11-30T18:47:30Z)
• Distributed Out-of-Memory NMF on CPU/GPU Architectures [1.0051474951635875]
  本稿では,HPCシステムに対する非負行列分解(NMF)アルゴリズムのメモリ外実装を提案する。 ベンチマークの結果、CPUベースのNMFkよりもGPUを使用した新しい実装により、32Xから76倍のスピードアップが大幅に改善された。
  論文  参考訳（メタデータ） (2022-02-19T03:49:21Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation [68.45737688496654]
  各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。 対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。 すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
  論文  参考訳（メタデータ） (2021-06-09T16:50:57Z)
• Providing Meaningful Data Summarizations Using Examplar-based Clustering in Industry 4.0 [67.80123919697971]
  我々は,従来のCPUアルゴリズムと比較して,一精度で最大72倍,半精度で最大452倍の高速化を実現していることを示す。 提案アルゴリズムは射出成形プロセスから得られた実世界のデータに適用し, 得られたサマリーが, コスト削減と不良部品製造の削減のために, この特定のプロセスのステアリングにどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2021-05-25T15:55:14Z)
• Sparse GPU Kernels for Deep Learning [24.94153856081836]
  ディープラーニングアプリケーションは、既存のスパースカーネルが密度の高いカーネルを上回るほど、比較的適度なスパーシティを持つ。 ニューラルネットワークに適用可能な2つのスパース行列演算のための高性能GPUカーネルを開発した。 カーネルを用いて、1.2-2.1倍のスピードアップと最大12.8倍のメモリ節約が可能なスパーストランスフォーマーとMobileNetモデルを、精度を犠牲にすることなく示す。
  論文  参考訳（メタデータ） (2020-06-18T23:59:11Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。