論文の概要: The Cambrian Explosion of Mixed-Precision Matrix Multiplication for Quantized Deep Learning Inference

• arxiv url: http://arxiv.org/abs/2506.11728v1
• Date: Fri, 13 Jun 2025 12:40:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.786856
• Title: The Cambrian Explosion of Mixed-Precision Matrix Multiplication for Quantized Deep Learning Inference
• Title（参考訳）: 量子ディープラーニング推論のための混合精度行列乗算のカンブリア爆発
• Authors: Héctor Martínez, Adrián Castelló, Francisco D. Igual, Enrique S. Quintana-Ortí,
• Abstract要約: ディープラーニング(DL)は、従来の64ビット浮動小数点(FP64)計算から、縮小精度のフォーマットへと変化した。 本稿では,従来のハイパフォーマンスなgemを改訂し,それを混合精度整数算術に適用するための戦略について述べる。
• 参考スコア（独自算出の注目度）: 0.9954176833299684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in deep learning (DL) have led to a shift from traditional 64-bit floating point (FP64) computations toward reduced-precision formats, such as FP16, BF16, and 8- or 16-bit integers, combined with mixed-precision arithmetic. This transition enhances computational throughput, reduces memory and bandwidth usage, and improves energy efficiency, offering significant advantages for resource-constrained edge devices. To support this shift, hardware architectures have evolved accordingly, now including adapted ISAs (Instruction Set Architectures) that expose mixed-precision vector units and matrix engines tailored for DL workloads. At the heart of many DL and scientific computing tasks is the general matrix-matrix multiplication gemm, a fundamental kernel historically optimized using axpy vector instructions on SIMD (single instruction, multiple data) units. However, as hardware moves toward mixed-precision dot-product-centric operations optimized for quantized inference, these legacy approaches are being phased out. In response to this, our paper revisits traditional high-performance gemm and describes strategies for adapting it to mixed-precision integer (MIP) arithmetic across modern ISAs, including x86_64, ARM, and RISC-V. Concretely, we illustrate novel micro-kernel designs and data layouts that better exploit today's specialized hardware and demonstrate significant performance gains from MIP arithmetic over floating-point implementations across three representative CPU architectures. These contributions highlight a new era of gemm optimization-driven by the demands of DL inference on heterogeneous architectures, marking what we term as the "Cambrian period" for matrix multiplication.
• Abstract（参考訳）: 近年のディープラーニング(DL)の進歩は、従来の64ビット浮動小数点(FP64)計算から、FP16、BF16、および8ビットまたは16ビット整数といった縮小精度の形式へと変化し、混合精度算術が組み合わされた。 この遷移により、計算スループットが向上し、メモリと帯域幅の使用が減少し、エネルギー効率が向上し、リソース制約のエッジデバイスに大きな利点をもたらす。 このシフトをサポートするため、ハードウェアアーキテクチャは進化し、混合精度ベクトルユニットとDLワークロードに適したマトリックスエンジンを公開する適応ISA(インストラクション・セット・アーキテクチャ)を含むようになった。 多くのDLおよび科学計算タスクの中心には、SIMD(単一命令、複数データ)ユニット上のxpyベクトル命令を使用して歴史的に最適化された基本カーネルである、一般的な行列行列乗算gemがある。 しかし、ハードウェアが量子化推論に最適化された混合精度のドット生成中心の演算に向かっているため、これらのレガシーアプローチは段階的に廃止されている。 これに対し,本稿では,従来のハイパフォーマンスなgemを改訂し,x86_64,ARM,RISC-Vを含む現代ISAの混合精度整数(MIP)演算に適用するための戦略について述べる。 具体的には、今日の特殊なハードウェアをよりよく活用し、3つの代表的なCPUアーキテクチャにまたがる浮動小数点実装に対するMIP演算による大幅な性能向上を示す、新しいマイクロカーネル設計とデータレイアウトについて説明する。 これらの貢献は、不均一なアーキテクチャに対するDL推論の要求により、gemm最適化の新たな時代を浮き彫りにしたものであり、行列乗法において「カンブリア時代」と呼ばれるものを表している。

関連論文リスト

• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Efficient Arbitrary Precision Acceleration for Large Language Models on GPU Tensor Cores [3.6385567224218556]
  大規模言語モデル(LLM)は広く応用されているが、効率的な推論では課題に直面している。 本稿では、並列計算を容易にし、対称量子化をサポートする新しいバイポーラ-INTデータフォーマットを提案する。 ビットレベルで分解・復元する任意の精度行列乗算方式を実装し,フレキシブルな精度を実現する。
  論文  参考訳（メタデータ） (2024-09-26T14:17:58Z)
• Mixed-precision Neural Networks on RISC-V Cores: ISA extensions for Multi-Pumped Soft SIMD Operations [5.847997723738113]
  現代の組み込みマイクロプロセッサは、混合精度NNを非常に限定的にサポートしている。 本稿では,協調ハードウェア設計,混合精度量子化,ISA拡張,推論を可能にするハードウェア・ソフトウェア共同設計フレームワークを提案する。 我々のフレームワークは、平均15倍のエネルギー削減を1%未満の精度で達成でき、ISA非依存のRISC-Vコアよりも優れています。
  論文  参考訳（メタデータ） (2024-07-19T12:54:04Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• DAISM: Digital Approximate In-SRAM Multiplier-based Accelerator for DNN Training and Inference [4.718504401468233]
  PIMソリューションは、まだ成熟していない新しいメモリ技術か、パフォーマンス上のオーバーヘッドとスケーラビリティの問題のあるビットシリアル計算に依存している。 本稿では,従来のメモリを用いてビット並列計算を行い,複数のワードラインのアクティベーションを利用する,SRAM内デジタル乗算器を提案する。 次に、この乗算器を利用したアーキテクチャであるDAISMを導入し、SOTAと比較して最大2桁高い面積効率を実現し、競争エネルギー効率を向上する。
  論文  参考訳（メタデータ） (2023-05-12T10:58:21Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
  トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。 175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
  論文  参考訳（メタデータ） (2022-08-15T17:08:50Z)
• Scalable Second Order Optimization for Deep Learning [34.12384996822749]
  本稿では,第2次プレコンディショニング手法のスケーラブルな実装について述べる(第2に,完全行列 Adagrad の変種)。 我々の新しい設計は、多コアCPUと複数のアクセラレーションユニットを組み合わせた深層モデルのトレーニングに、一般的な異種ハードウェアアーキテクチャを効果的に活用する。 本稿では,変換器を用いた機械翻訳,BERTによる言語モデリング,Criteoによるクリックスルー率予測,ResNet-50によるImageNetの画像分類など,非常に大規模な学習課題における最先端の学習性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T20:51:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。