論文の概要: Masked Matrix Multiplication for Emergent Sparsity

• arxiv url: http://arxiv.org/abs/2402.14118v1
• Date: Wed, 21 Feb 2024 20:36:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 17:12:07.408372
• Title: Masked Matrix Multiplication for Emergent Sparsity
• Title（参考訳）: 創発的スパーシティに対するマスク行列乗法
• Authors: Brian Wheatman, Meghana Madhyastha, and Randal Burns
• Abstract要約: トランスフォーマーモデルは、計算が高密度データへの選択的スパースアクセスを実行する創発的な空間を示す。 ベクトル化および並列行列乗算システム A X B = C を構築し,不要な計算を除去する。
• 参考スコア（独自算出の注目度）: 1.4786952412297807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial intelligence workloads, especially transformer models, exhibit emergent sparsity in which computations perform selective sparse access to dense data. The workloads are inefficient on hardware designed for dense computations and do not map well onto sparse data representations. We build a vectorized and parallel matrix-multiplication system A X B = C that eliminates unnecessary computations and avoids branches based on a runtime evaluation of sparsity. We use a combination of dynamic code lookup to adapt to the specific sparsity encoded in the B matrix and preprocessing of sparsity maps of the A and B matrices to compute conditional branches once for the whole computation. For a wide range of sparsity, from 60% to 95% zeros, our implementation performs fewer instructions and increases performance when compared with Intel MKL's dense or sparse matrix multiply routines. Benefits can be as large as 2 times speedup and 4 times fewer instructions.
• Abstract（参考訳）: 人工知能のワークロード、特にトランスフォーマーモデルは、計算が高密度データへの選択的なスパースアクセスを実行する創発的な空間を示す。 ワークロードは、高密度な計算用に設計されたハードウェアでは非効率であり、スパースデータ表現にうまくマッピングできない。 ベクトル化並列行列乗算システム A X B = C を構築し,不必要な計算を排除し,スパーシティのランタイム評価に基づいて分岐を回避する。 我々は動的コード検索の組み合わせを用いて,B行列に符号化された特定の疎度に適応し,A行列とB行列の疎度マップを前処理することで,計算全体の条件分岐を計算する。 60% から 95% まで幅広い範囲において,Intel MKL の高密度あるいは疎度行列乗算ルーチンと比較して命令の少ない実行と性能の向上を実現している。 利点は2倍のスピードアップと4倍の命令で得られる。

関連論文リスト

• SMM-Conv: Scalar Matrix Multiplication with Zero Packing for Accelerated Convolution [4.14360329494344]
  本稿では、CPUアーキテクチャの推論中に畳み込みを加速するための新しいアプローチを提案する。 ネットワークアーキテクチャを用いた実験は,既存の間接手法に比べて大幅に高速化された。
  論文  参考訳（メタデータ） (2024-11-23T21:43:38Z)
• Optimized Inference for 1.58-bit LLMs: A Time and Memory-Efficient Algorithm for Binary and Ternary Matrix Multiplication [8.779871128906787]
  大規模言語モデル(LLM)は、高度な計算インフラに依存しながら推論の非効率さに悩まされる。 3次重み付き1.58ビットLLMの推論時間とメモリ効率を改善するアルゴリズムを提案する。 その結果,時間とメモリの両面でのアプローチの優位性が確認され,推論時間は最大29倍,メモリ使用量は最大6倍に短縮された。
  論文  参考訳（メタデータ） (2024-11-10T04:56:14Z)
• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• AMULET: Adaptive Matrix-Multiplication-Like Tasks [6.094431019524036]
  オープンソースコンパイラを拡張して,行列乗算のようなタスクを認識し,最適化する。 私たちのフレームワークは、Amuletと呼ばれ、データベーススタイルとコンパイラ最適化の両方の技術を使用します。 一般に、Amuletは手動の行列乗算ライブラリの15%以内で動作し、より広範な計算処理を処理している。
  論文  参考訳（メタデータ） (2023-05-12T17:04:24Z)
• PopSparse: Accelerated block sparse matrix multiplication on IPU [0.5661403709207713]
  本稿では,Graphcore IPU上での高速スパース操作を実現するライブラリであるPopSparseを紹介する。 静的、コンパイル時にスパーシティパターンが固定される、動的、モデルの実行毎に変更される、という2つの異なるタイプのスパーシリティをターゲットにしています。 その結果,PopSparse の実装は IPU 上での高密度行列乗算よりも幅広い範囲で高速であることが示唆された。
  論文  参考訳（メタデータ） (2023-03-29T20:00:19Z)
• RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations [56.59168541623729]
  トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。 我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。 本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:25:33Z)
• Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
  EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。 本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
  論文  参考訳（メタデータ） (2022-07-09T09:14:12Z)
• Monarch: Expressive Structured Matrices for Efficient and Accurate Training [64.6871423399431]
  大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。 計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。 ハードウェア効率のよい行列(Monarch)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:37:29Z)
• Efficient GPU implementation of randomized SVD and its applications [17.71779625877989]
  行列分解は、次元データの圧縮やディープラーニングアルゴリズムなど、機械学習においてユビキタスである。 行列分解の典型的な解は、計算コストと時間を大幅に増大させる複雑さを持つ。 我々は,計算行列分解の計算負担を軽減するために,現代のグラフィカル処理ユニット(GPU)で並列に動作する効率的な処理操作を利用する。
  論文  参考訳（メタデータ） (2021-10-05T07:42:41Z)
• Non-PSD Matrix Sketching with Applications to Regression and Optimization [56.730993511802865]
  非PSDおよび2乗根行列の次元削減法を提案する。 複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-06-16T04:07:48Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。