論文の概要: Fast inference with Kronecker-sparse matrices

• arxiv url: http://arxiv.org/abs/2405.15013v2
• Date: Tue, 08 Oct 2024 17:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 02:11:45.229487
• Title: Fast inference with Kronecker-sparse matrices
• Title（参考訳）: Kronecker-sparse行列による高速推論
• Authors: Antoine Gonon, Léon Zheng, Pascal Carrivain, Quoc-Tung Le,
• Abstract要約: Kronecker-sparse行列による乗算のための最初のエネルギーおよび時間ベンチマークを示す。 私たちのベンチマークでは、メモリ書き換え操作に実行時の最大50%を特殊実装が費やしていることも示しています。 我々は,エネルギー消費を15%削減しつつ,x1.4の中央値の高速化を実現する新しいカーネルを実装した。
• 参考スコア（独自算出の注目度）: 4.387337528923525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper benchmarks and improves existing GPU matrix multiplication algorithms specialized for Kronecker-sparse matrices, whose sparsity patterns are described by Kronecker products. These matrices have recently gained popularity as replacements for dense matrices in neural networks because they preserve accuracy while using fewer parameters. We present the first energy and time benchmarks for the multiplication with such matrices, helping users identify scenarios where Kronecker-sparse matrices are more time- and energy-efficient than their dense counterparts. Our benchmark also reveals that specialized implementations spend up to 50% of their total runtime on memory rewriting operations. To address the challenge of reducing memory transfers, we introduce a new so-called tiling strategy adapted to the Kronecker-sparsity structure, which reduces reads and writes between levels of GPU memory. We implement this tiling strategy in a new CUDA kernel that achieves a median speed-up of x1.4, while also cutting energy consumption by 15%. We further demonstrate the broader impact of our results by applying the new kernel to accelerate transformer inference.
• Abstract（参考訳）: 本稿では、Kronecker-sparse行列に特化した既存のGPU行列乗算アルゴリズムをベンチマークし、改良する。 これらの行列は、パラメータを減らしながら精度を保ち、ニューラルネットワークの密度の高い行列を置き換えるものとして最近人気を集めている。 このような行列を乗算するための最初のエネルギー・時間ベンチマークを提示し、Kronecker-sparse行列がより高密度な行列よりも時間・エネルギー効率が高いシナリオを特定するのに役立つ。 私たちのベンチマークでは、メモリ書き換え操作に実行時の最大50%を特殊実装が費やしていることも示しています。 メモリ転送の削減という課題に対処するために、Kronecker-sparsity構造に適応した、いわゆるタイリング戦略を導入し、GPUメモリのレベル間の読み書きを削減した。 我々は、このタイリング戦略を、エネルギー消費を15%削減しつつ、x1.4の中央値の高速化を実現する新しいCUDAカーネルに実装する。 我々は、トランスフォーマー推論を高速化するために新しいカーネルを適用することで、結果のより広範な影響を実証する。

関連論文リスト

• Libra: Synergizing CUDA and Tensor Cores for High-Performance Sparse Matrix Multiplication [6.557224606759151]
  現代の加速器は一般にスパース演算子を加速するコアとコアを備えている。 資源を1つだけ利用すれば,それぞれの制限のため,スパース行列乗算の性能が劣ることを示す。 本稿では,2.9コアの高性能とコアの低冗長性を両立させて,タスクマッピング演算子のスイートポイントを求める2D対応のワークロード計算戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-28T01:50:13Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Speedy MASt3R [68.47052557089631]
  MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。 高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。 この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-13T03:56:22Z)
• KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
  KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。 MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。 また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
  論文  参考訳（メタデータ） (2025-03-03T12:43:06Z)
• Unified Kernel-Segregated Transpose Convolution Operation [3.4558311080267954]
  本稿では,メモリと計算資源の使用を制限する統一カーネル分離手法を提案する。 EB-GANモデルにおける畳み込み層を変換する方法は,最大35MBのメモリ節約効果を示す。
  論文  参考訳（メタデータ） (2025-02-27T19:56:25Z)
• FlashSparse: Minimizing Computation Redundancy for Fast Sparse Matrix Multiplications on Tensor Cores [6.404201720333765]
  我々は、スパースワークロードとTCUアーキテクチャのギャップを埋める新しいアプローチであるFlashSparseを提案する。 特に、FlashSparseは、新しいスワップ・アンド・トランスポーション行列乗算戦略により、TCUs上のSpMMとSDDMMのスパース粒度を最小化する。 我々はFlashSparseがスパース行列乗算のための新しい最先端技術(幾何学平均はDTC-SpMMより5.5倍、RoDeより3.22倍)をセットしていることを示す。
  論文  参考訳（メタデータ） (2024-12-15T01:12:33Z)
• SMM-Conv: Scalar Matrix Multiplication with Zero Packing for Accelerated Convolution [4.14360329494344]
  本稿では、CPUアーキテクチャの推論中に畳み込みを加速するための新しいアプローチを提案する。 ネットワークアーキテクチャを用いた実験は,既存の間接手法に比べて大幅に高速化された。
  論文  参考訳（メタデータ） (2024-11-23T21:43:38Z)
• Expanding Sparse Tuning for Low Memory Usage [103.43560327427647]
  メモリ使用量が少ないスパースチューニングのためのSNELL(Sparse tuning with kerNelized LoRA)法を提案する。 低メモリ使用量を達成するため、SNELLはスカラー化のための調整可能な行列を2つの学習可能な低ランク行列に分解する。 コンペティションに基づくスペーシフィケーション機構は、チューナブルウェイトインデックスの保存を避けるためにさらに提案される。
  論文  参考訳（メタデータ） (2024-11-04T04:58:20Z)
• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• Accelerating a Triton Fused Kernel for W4A16 Quantized Inference with SplitK work decomposition [0.44998333629984877]
  W4A16量子化推論のための効率的な融合行列乗算カーネルの実装を提案する。 本実装では,基礎モデル推論ワークロードに見られるスキン行列行列行列乗法の改良について述べる。
  論文  参考訳（メタデータ） (2024-01-05T19:17:55Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• ACNPU: A 4.75TOPS/W 1080P@30FPS Super Resolution Accelerator with Decoupled Asymmetric Convolution [0.0502254944841629]
  深層学習駆動型超解像(SR)は従来の技術より優れているが、高複雑性とメモリ帯域幅の課題に直面している。 本稿では,エネルギー効率の高いSR加速器ACNPUを提案する。 ACNPUは27層モデルで画質を0.34dB向上させるが、FSRCNNよりも36%の複雑さを必要とする。
  論文  参考訳（メタデータ） (2023-08-30T07:23:32Z)
• KrADagrad: Kronecker Approximation-Domination Gradient Preconditioned Stochastic Optimization [69.47358238222586]
  第2の順序付けにより、パラメータのステップサイズと方向を変更でき、損失曲率に適応できる。 最近、シャンプーはこれらの要求を減らすためにクローネッカーファクター付きプレコンディショナーを導入した。 不条件行列の逆行列根を取る。 これは64ビットの精度が必要で、ハードウェアの制約が強い。
  論文  参考訳（メタデータ） (2023-05-30T21:15:45Z)
• You Only Segment Once: Towards Real-Time Panoptic Segmentation [68.91492389185744]
  YOSOはリアルタイムのパン光学セグメンテーションフレームワークである。 YOSOは、パン光学カーネルと画像特徴マップの間の動的畳み込みを通じてマスクを予測する。 YOSOは、COCOで46.4 PQ、45.6 FPS、都市景観で52.5 PQ、22.6 FPS、ADE20Kで38.0 PQ、35.4 FPSを達成している。
  論文  参考訳（メタデータ） (2023-03-26T07:55:35Z)
• Optimized Sparse Matrix Operations for Reverse Mode Automatic Differentiation [3.72826300260966]
  本稿では,PyTorch のための CSR ベースのスパース行列ラッパーの実装について述べる。 また,結果のスパースカーネルを最適化に応用し,実装や性能測定の容易さを高密度カーネルと比較した。
  論文  参考訳（メタデータ） (2022-12-10T00:46:51Z)
• Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
  EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。 本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
  論文  参考訳（メタデータ） (2022-07-09T09:14:12Z)
• Monarch: Expressive Structured Matrices for Efficient and Accurate Training [64.6871423399431]
  大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。 計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。 ハードウェア効率のよい行列(Monarch)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:37:29Z)
• Robust 1-bit Compressive Sensing with Partial Gaussian Circulant Matrices and Generative Priors [54.936314353063494]
  我々は,ロバストな1ビット圧縮センシングのための相関に基づく最適化アルゴリズムのリカバリ保証を提供する。 我々は,実用的な反復アルゴリズムを用いて,画像データセットの数値実験を行い,結果の相関付けを行う。
  論文  参考訳（メタデータ） (2021-08-08T05:28:06Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)
• Direct Spatial Implementation of Sparse Matrix Multipliers for Reservoir Computing [0.0]
  貯水池の計算システムは、非常に大きくてスパースな固定行列の繰り返し乗算に依存している。 これらの固定行列の直接実装は、計算で実行される作業を最小化する。 ビットシリアル行列乗算器の構造を提示し、正則符号付き桁表現を用いて論理利用をさらに削減する。
  論文  参考訳（メタデータ） (2021-01-21T23:16:22Z)
• Sparse GPU Kernels for Deep Learning [24.94153856081836]
  ディープラーニングアプリケーションは、既存のスパースカーネルが密度の高いカーネルを上回るほど、比較的適度なスパーシティを持つ。 ニューラルネットワークに適用可能な2つのスパース行列演算のための高性能GPUカーネルを開発した。 カーネルを用いて、1.2-2.1倍のスピードアップと最大12.8倍のメモリ節約が可能なスパーストランスフォーマーとMobileNetモデルを、精度を犠牲にすることなく示す。
  論文  参考訳（メタデータ） (2020-06-18T23:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。